Переоптимизация (overfitting) — главная болезнь начинающего системного трейдера. Она возникает, когда параметры стратегии подгоняются под конкретный отрезок истории так плотно, что кривая доходности становится почти идеальной. Интуитивно кажется, что чем лучше бэктест, тем лучше стратегия. На самом деле всё наоборот: подозрительно идеальный бэктест — не достижение, а тревожный сигнал. Такая стратегия выучила случайный шум прошлого, а не уловила устойчивую закономерность, и в реальной торговле она разваливается. Разложим, как рождается переоптимизация, почему она так соблазнительна и как её распознать до того, как она стоила вам денег.
Механизм коварно естественен. Трейдер тестирует стратегию, видит неплохой результат и начинает «улучшать»: подкрутил период средней — прибыль выросла; добавил фильтр — просадка уменьшилась; поменял стоп — кривая стала ровнее. Каждый шаг кажется разумным, но в сумме параметры всё точнее описывают именно этот исторический отрезок, включая его случайные особенности. В пределе можно добавить столько условий, что стратегия идеально «предскажет» каждую сделку прошлого. Проблема в том, что будущее не повторяет случайный шум прошлого, и вся эта точность оказывается бесполезной, а часто вредной.
Ключевые наблюдения
- Переоптимизация — подгонка параметров под прошлые данные так, что стратегия «выучивает» случайный шум вместо устойчивой закономерности.
- Чем идеальнее и глаже кривая бэктеста, тем выше вероятность, что стратегия переоптимизирована и не переживёт будущего.
- Признаки болезни — много «настраиваемых» параметров, чувствительность результата к их малому изменению, отличная история и провал на новых данных.
- Лекарство — простота, проверка на данных, которые не участвовали в настройке, и оценка устойчивости, а не максимальной прибыли.
Рынок не платит за то, что вы идеально описали прошлое. Он платит за то, что вы уловили закономерность, которая продолжает работать. Идеальный бэктест почти всегда означает первое, а не второе.
— Noob_X
Почему идеальная кривая — тревожный знак
Реальные рыночные закономерности слабы, зашумлены и работают «в среднем», а не идеально. Поэтому честная рабочая стратегия имеет кривую с просадками, полосами неудач и неровностями — она отражает реальность рынка. Слишком гладкая, почти безубыточная кривая означает одно из двух: либо в бэктесте ошибка (заглядывание в будущее), либо стратегия переоптимизирована под конкретную историю. Оба варианта — плохие новости. Опытный исследователь при виде идеальной кривой не радуется, а начинает искать, где он себя обманул. Здоровое недоверие к собственному прекрасному результату — важнейший навык.
На что смотреть в этой теме
Проверка на переоптимизацию — это не про доходность, а про устойчивость. Практический тест: слегка измените ключевые параметры (период, порог) на несколько процентов в обе стороны. Если результат при этом резко ухудшается или превращается в убыток — стратегия «сидит на игле» конкретных чисел и переоптимизирована. Робастная стратегия деградирует плавно: соседние параметры дают близкие, пусть и не идеальные результаты, образуя широкое «плато», а не острый пик. Никакие конкретные цифры прибыли здесь не приводятся сознательно — важна форма чувствительности к параметрам, а не абсолютный результат, который зависит от данных и издержек.
Как лечить и предотвращать
Против переоптимизации работает несколько принципов. Простота: чем меньше параметров и условий, тем меньше места для подгонки — стратегия с двумя параметрами робастнее стратегии с пятнадцатью. Разделение данных: настраивать на одной части истории, проверять на другой, которая в настройке не участвовала (out-of-sample). Оценка устойчивости: искать широкое плато параметров, а не острый пик прибыли. Скепсис к собственному успеху: относиться к идеальному результату как к подозрению, а не к победе. И понимание: цель — не максимальная историческая прибыль, а закономерность, у которой есть шанс продолжиться.
Чего лучше избегать
Первая — принимать гладкую кривую за качество, а не за тревожный сигнал. Вторая — бесконечно «улучшать» стратегию добавлением параметров и фильтров. Третья — настраивать и проверять на одних и тех же данных. Четвёртая — выбирать параметры по острому пику прибыли, а не по устойчивому плато. Пятая — не тестировать чувствительность результата к изменению параметров.
Читайте также
Частые вопросы
Разве оптимизация параметров — это плохо?
Сама по себе нет. Плохо, когда оптимизация переходит в подгонку под шум. Граница — в проверке на новых данных и в устойчивости к изменению параметров.
Как понять, что стратегия переоптимизирована?
Классические признаки: отличная история и провал на данных, не участвовавших в настройке; резкое ухудшение при малом изменении параметров; подозрительно много условий.
Сколько параметров допустимо?
Чем меньше, тем лучше. Жёсткого числа нет, но каждый дополнительный параметр повышает риск подгонки, поэтому его включение должно быть обосновано, а не случайно.
Что запомнить
- Переоптимизация — подгонка под прошлое, при которой стратегия учит шум, а не закономерность.
- Слишком гладкая, идеальная кривая — тревожный знак, а не признак качества.
- Робастная стратегия даёт широкое плато параметров; переоптимизированная — острый пик, чувствительный к малым изменениям.
- Лекарство — простота, проверка на не участвовавших в настройке данных и оценка устойчивости, а не максимум прибыли.