Данные, которых модель не видела
Out-of-sample — часть исторической выборки, специально исключённая из процесса разработки и настройки стратегии. Правила придумываются и параметры подбираются только на обучающем участке, затем система один раз проверяется на отложенных данных. Смысл в том, чтобы получить честную оценку, не испорченную подгонкой.
Ключевое слово — «один раз». Если результат на отложенном участке не понравился, параметры изменили и проверили снова, отложенные данные превращаются в обучающие: подгонка вернулась, просто более скрытая. Дисциплина здесь важнее техники.
Как делить историю
Простейший вариант — разделить выборку по времени: например, первые 70 % на разработку, последние 30 % на проверку. Порядок именно такой, а не наоборот, потому что торговать вы будете в будущем, а не в прошлом, и проверять надо способность правил работать на более поздних данных.
Более строгий подход — walk-forward: окно обучения и следующее за ним окно проверки последовательно сдвигаются по всей истории. Так получается несколько независимых оценок вместо одной и видно, стабильны ли оптимальные параметры во времени. Резкие скачки оптимума от окна к окну — надёжный признак того, что закономерности нет, а есть подгонка под шум.
Что считать приемлемым результатом
Ожидать, что результат на отложенных данных совпадёт с обучающим, не стоит — он почти всегда хуже, и это нормально. Значение имеет масштаб разрыва: умеренное снижение говорит о рабочей идее, падение в разы или уход в минус означает, что на обучающем участке был подобран шум.
Второй критерий — характер, а не только цифра. Если на отложенных данных сохранились форма кривой, частота сделок и глубина просадок, система ведёт себя узнаваемо. Если изменилась сама структура результата, совпадение итоговой доходности ничего не доказывает.
Частые вопросы
Зачем нужен out-of-sample тест?
Чтобы получить оценку стратегии, не испорченную подгонкой. Параметры подбираются на обучающем участке, а проверка проводится на данных, которых модель не видела.
Можно ли повторно тестировать после доработки?
Формально можно, но тогда отложенный участок перестаёт быть таковым и превращается в обучающий. Для честной оценки нужен новый нетронутый отрезок данных.
Насколько результат может ухудшиться?
Умеренное снижение относительно обучающего участка нормально. Падение в разы или уход в убыток означает, что на обучающих данных был подобран шум, а не закономерность.
Что запомнить
- Out-of-sample — отложенный участок данных для честной проверки после настройки.
- Повторная проверка после доработки превращает отложенные данные в обучающие.
- Walk-forward даёт несколько независимых оценок и показывает стабильность параметров.