Подгонка под шум
Переоптимизация — настройка параметров стратегии до такой степени, что она описывает случайные особенности конкретной выборки, а не устойчивую закономерность. Признак классический: на истории результат отличный, на новых данных система перестаёт работать.
Механизм прост. Если перебрать достаточно комбинаций параметров, какая-то из них покажет прекрасный результат на любой выборке — включая случайные данные. Чем больше параметров и чем мельче шаг перебора, тем выше шанс найти такую комбинацию и принять её за открытие.
Как распознать до запуска
Главный тест — устойчивость соседних значений. Постройте поверхность результата по двум параметрам: если оптимум стоит на широком плато и соседние настройки дают близкий результат, закономерность скорее реальна. Если оптимум — узкий пик, окружённый убытками, это подгонка: сдвиг рынка на шаг, и вы окажетесь на склоне.
Второй признак — число параметров относительно числа сделок. Система с восемью настраиваемыми параметрами и сотней сделок в тесте почти наверняка переоптимизирована: степеней свободы больше, чем данных. Третий — рост результата после каждого добавленного фильтра: обычно это означает, что фильтр отсекает конкретные исторические убытки, а не класс ситуаций.
Что помогает не попасть в ловушку
Порядок работы важнее техники. Сначала формулируется гипотеза о том, почему закономерность должна существовать, затем она проверяется — а не наоборот, когда сначала находят красивую кривую, а потом придумывают объяснение. Второе объяснение всегда найдётся, и оно ничего не стоит.
Дальше — минимум параметров, проверка на отложенных данных, walk-forward для оценки стабильности оптимума во времени, форвард-тест на реальном рынке малым объёмом. Мы считаем стратегию проверенной только после последнего шага: расхождение между тестом и реальным исполнением обнаруживается именно там.
Частые вопросы
Как понять, что стратегия переоптимизирована?
По узкому оптимуму: если соседние значения параметров дают резко худший результат, система описывает шум. Устойчивое плато вокруг оптимума — признак реальной закономерности.
Сколько параметров допустимо?
Чем меньше, тем лучше. Ориентир — число степеней свободы должно быть заметно меньше числа сделок в выборке. Восемь параметров на сотню сделок почти гарантированно означают подгонку.
Помогает ли добавление фильтров?
Обычно наоборот. Если каждый новый фильтр улучшает результат теста, чаще всего он отсекает конкретные исторические убытки, а не класс ситуаций, и на новых данных не сработает.
Что запомнить
- Переоптимизация описывает случайности выборки, а не закономерность рынка.
- Узкий пик оптимума — признак подгонки, широкое плато — признак устойчивости.
- Сначала гипотеза о причине, потом проверка; обратный порядок всегда даёт объяснение задним числом.