Статьи ·

Аудит бэктеста, часть 3: как показываются результаты

Аудит бэктеста, часть 3: журнал, корзины на одном счёте и отложенная проверка оптимизатора

Первая часть исправила то, как движок торгует, вторая — то, что он получает. Эта часть — о цифрах, которые он возвращает: даже верную симуляцию прочитают неверно, если итог складывает текст, просадка пропускает худшую свечу, а процент округляет 249 из 250 до всех.

Журнал складывает числа, а не текст

Движок передаёт деньги точными десятичными строками. Журнал сохранённых бэктестов складывал рынки корзины как текст: "10.5" и "-2.25" превращались в "010.5-2.25", и у каждой корзины результат и доходность показывались как NaN. Кроме того, он считал корзиной любые бэктесты одной версии на одном периоде, поэтому бэктест, прогнанный дважды с разными комиссиями, читался как «2 рынка» с суммой.

Теперь корзина записывается как одно целое: её рынки несут её идентификатор, а её строка в журнале показывает, что сделал её счёт целиком, — результат, доходность и просадку — рядом с тем, сколько рынков заработали.

Корзина — один счёт, свеча за свечой

Раньше счёт корзины складывался из линий графиков рынков: 200 точек на рынок и только по закрытиям свечей. Так пропускались падения внутри свечи, а поскольку у каждого рынка оставались свои моменты, можно было сложить два падения, которые никогда не происходили одновременно. Теперь счёт считается по каждой свече каждого рынка — его самому низкому, самому высокому и закрывающему капиталу и объёму позиции, — а рынки, падающие в одной свече, считаются достигшими минимумов вместе.

Корзина из двух рынков на 1000 USDT: один держит лонг на 1000 USDT через свечу, которая падает до 88 и закрывается на 99. По закрытиям счёт упал на 10 USDT, внутри свечи — на 120
Одна и та же свеча: 1% на закрытии и 12% внутри неё, как показывает и сам рынок.

Как всё складывается: Как бэктест корзины Metrand складывает рынки в один счёт.

Отложенная проверка оптимизатора остаётся отложенной

Оптимизатор ранжирует комбинации на первой части периода и проверяет их на остальной. Его карта раскрашивала ячейки по результату на отложенной части — это подталкивает выбирать там и превращает проверку в ещё одну подгонку. Теперь карта показывает результат в выборке, где и делается выбор; карта вне выборки включается переключателем и подписана как проверка. Результаты также говорят, сколько комбинаций выглядели бы прибыльными в обеих частях случайно, — доля прибыльных в выборке, умноженная на долю прибыльных вне её, — и у каждого результата рядом с USDT стоит доходность в процентах.

У каждой цифры одно значение

В API

Ответ корзины несёт basket_id, а его portfolio теперь содержит per_year_pct (вместо cagr_pct), ruined_at, over_margin и years[].partial. POST /backtest принимает "marks": true и возвращает для каждой свечи low, high, close и held, чтобы клиент мог складывать бэктесты в один счёт тем же способом. В отчётах есть avg_trade_return_pct.

Дальше

Последняя, четвёртая часть, сверяет движок с независимой эталонной симуляцией и проверяет, что ни одно решение не может прочитать цену, появившуюся после него.