Статьи ·
Аудит бэктеста, часть 3: как показываются результаты
Первая часть исправила то, как движок торгует, вторая — то, что он получает. Эта часть — о цифрах, которые он возвращает: даже верную симуляцию прочитают неверно, если итог складывает текст, просадка пропускает худшую свечу, а процент округляет 249 из 250 до всех.
Журнал складывает числа, а не текст
Движок передаёт деньги точными десятичными строками. Журнал сохранённых бэктестов складывал рынки корзины как текст:
"10.5" и "-2.25" превращались в "010.5-2.25", и у каждой корзины результат и доходность показывались как NaN.
Кроме того, он считал корзиной любые бэктесты одной версии на одном периоде, поэтому бэктест, прогнанный дважды с
разными комиссиями, читался как «2 рынка» с суммой.
Теперь корзина записывается как одно целое: её рынки несут её идентификатор, а её строка в журнале показывает, что сделал её счёт целиком, — результат, доходность и просадку — рядом с тем, сколько рынков заработали.
Корзина — один счёт, свеча за свечой
Раньше счёт корзины складывался из линий графиков рынков: 200 точек на рынок и только по закрытиям свечей. Так пропускались падения внутри свечи, а поскольку у каждого рынка оставались свои моменты, можно было сложить два падения, которые никогда не происходили одновременно. Теперь счёт считается по каждой свече каждого рынка — его самому низкому, самому высокому и закрывающему капиталу и объёму позиции, — а рынки, падающие в одной свече, считаются достигшими минимумов вместе.
- Комиссии в конце. Позиции, открытые на момент конца данных, учитывались до уплаты комиссии и проскальзывания на выходе; при 20 рынках с плечом 3× это 3,6 процентного пункта доходности. Теперь счёт заканчивается тем, что сохранил каждый рынок.
- Обнулился — значит обнулился. Раньше каждый рынок маржинировался на весь счёт сам по себе, поэтому два рынка могли потерять 180% счёта, а корзина потом показывала восстановление. Теперь счёт — один баланс: когда его капитал на минимуме свечи доходит до поддерживающей маржи всего, что он держит, он ликвидируется и остаётся на нуле. Корзина, рынки которой держали одновременно больше, чем счёт несёт при своём плече, об этом сообщает.
- Шарп по каждому дню. Он считается по капиталу счёта на конец каждого дня по UTC.
Как всё складывается: Как бэктест корзины Metrand складывает рынки в один счёт.
Отложенная проверка оптимизатора остаётся отложенной
Оптимизатор ранжирует комбинации на первой части периода и проверяет их на остальной. Его карта раскрашивала ячейки по результату на отложенной части — это подталкивает выбирать там и превращает проверку в ещё одну подгонку. Теперь карта показывает результат в выборке, где и делается выбор; карта вне выборки включается переключателем и подписана как проверка. Результаты также говорят, сколько комбинаций выглядели бы прибыльными в обеих частях случайно, — доля прибыльных в выборке, умноженная на долю прибыльных вне её, — и у каждого результата рядом с USDT стоит доходность в процентах.
У каждой цифры одно значение
- Средняя сделка. Средний результат всех сделок делился на средний объём первых ста показанных. Девять сделок по
25 USDT, заработавшие по 0,10, и одна на 775 USDT, потерявшая 10, давали −0,91%, хотя в среднем сделки дали +0,23%.
Теперь движок сообщает среднюю доходность сделки на её объём по всем сделкам (
avg_trade_return_pct). - За год. Корзина показывала сложный процент, а карточка шаблона — простой: +100% за два года читались как +41,4% в одном месте и +50,0% в другом. Теперь оба показывают, сколько счёт зарабатывал за год на свой стартовый капитал: именно от него считается объём позиций. Год, который история не охватила целиком, помечается.
- Доля прибыльных. 249 прибыльных из 250 показывались как 100%. Теперь доля, которая не равна всем или никому, никогда так не читается.
- Время. Время сделок показывалось в поясе читателя без пометки, рядом с периодами в UTC. Теперь оно в UTC, с пометкой.
- Графики. Линия показывает счёт на закрытиях свечей; просадка учитывает и самую низкую точку внутри каждой свечи, и страница об этом пишет. Линия корзины сохраняет каждый провал, а не каждую k-ю точку.
- Цифры шаблонов. Измерение шаблона кешировалось только по его имени, поэтому после релиза оно часами могло показывать цифры прежнего движка. Теперь оно привязано к графу шаблона, способу измерения и релизу.
В API
Ответ корзины несёт basket_id, а его portfolio теперь содержит per_year_pct (вместо cagr_pct), ruined_at,
over_margin и years[].partial. POST /backtest принимает "marks": true и возвращает для каждой свечи low,
high, close и held, чтобы клиент мог складывать бэктесты в один счёт тем же способом. В отчётах есть
avg_trade_return_pct.
Дальше
Последняя, четвёртая часть, сверяет движок с независимой эталонной симуляцией и проверяет, что ни одно решение не может прочитать цену, появившуюся после него.