Что бэктест на самом деле проверяет
Бэктест отвечает на один вопрос: как заданные правила вели бы себя на уже случившейся истории. Это проверка внутренней непротиворечивости системы, а не прогноз. Он способен отсеять явно нерабочую идею и показать характер стратегии — длину серий убытков, глубину просадок, зависимость от волатильности. Обещать будущую доходность он не может по построению.
Даже корректный бэктест описывает один конкретный сценарий: ту последовательность цен, которая произошла. Если система показала хороший результат на одном пути рынка, это ещё не свойство системы. Поэтому мы смотрим не только итоговую цифру, но и устойчивость результата к изменению параметров: если прибыль держится в широком диапазоне настроек, идея скорее реальна, если исчезает при сдвиге на один шаг — это подгонка.
Где бэктест врёт чаще всего
Первое — издержки. Спред, комиссия, свопы и проскальзывание в сумме легко съедают всю доходность частой стратегии. Тест без издержек на пятиминутках даёт красивую кривую, которая в реальности не воспроизводится. Второе — заглядывание в будущее: сигнал считается по цене закрытия свечи, а сделка ставится по её открытию, или в расчёт попадают данные, которых в тот момент ещё не существовало.
Третье — качество данных. Пропуски, отсутствие реальных гэпов после выходных, синтетические тики вместо настоящих котировок меняют результат сильнее, чем большинство параметров стратегии. И четвёртое — выжившие: тестирование только на инструментах, которые дожили до сегодня, автоматически убирает из выборки худшие случаи.
Как мы относимся к результатам теста
Бэктест у нас — фильтр на входе, а не аргумент в пользу запуска. Правило простое: сначала гипотеза о том, почему закономерность вообще должна существовать, потом проверка на данных, которых модель не видела, потом форвард-тест на реальном рынке малым объёмом, и только затем доля капитала. Стратегия, у которой есть только красивый бэктест и нет объяснения, до реальных денег не доходит.
Полезная привычка при чтении чужих тестов — искать не доходность, а условия. Какой период, какие издержки, сколько сделок, что с просадкой, тестировалось ли на данных вне выборки. Отсутствие ответов на эти вопросы информативнее любой итоговой цифры.
Частые вопросы
Хороший бэктест гарантирует прибыль?
Нет. Бэктест показывает поведение правил на прошлых данных и лишь отсеивает нерабочие идеи. Прибыльный результат может объясняться подгонкой параметров, заниженными издержками или ошибками данных, а не реальной закономерностью.
Сколько сделок нужно, чтобы тест был показателен?
Универсального числа нет: важнее, чтобы выборка покрывала разные рыночные режимы — тренд, флэт, высокую и низкую волатильность. Несколько сотен сделок на разнородных периодах информативнее нескольких тысяч на одном спокойном участке.
Чем бэктест отличается от форвард-теста?
Бэктест прогоняет правила по исторической выборке, форвард-тест — по данным, которые появляются уже после фиксации правил, на реальном рынке малым объёмом. Второй способ дороже и медленнее, но именно он ловит проблемы исполнения и издержек.
Что запомнить
- Бэктест проверяет непротиворечивость правил на прошлом, а не предсказывает будущее.
- Издержки, заглядывание в будущее и плохие данные — три главные причины ложного результата.
- Устойчивость к изменению параметров важнее итоговой цифры доходности.