과최적화 백테스트를 잡아내는 3가지 검증법🚦

백테스트에서는 좋은 성과가 나와도 실제 투자에서는 실패하는 경우가 많습니다. 그 이유 중 하나는 여러 가지 파라미터를 조합하면서 우연히 좋은 결과에 집착하는 과최적화 문제 때문입니다. 저는 이런 문제를 줄이기 위해 비용이 가장 적게 드는 검증부터 순서대로 세 가지 테스트를 돌리고 있습니다.

첫 번째는 디플레이트 샤프 비율 검증입니다. 이 검증은 여러 시도 중 우연히 높은 샤프 비율을 기록한 경우를 가려내며, 간단한 계산 한 번이면 결과를 알 수 있어 시간과 비용이 거의 들지 않습니다. 만약 확률이 95% 미만이면 여기서 멈춥니다.

두 번째는 몬테카를로 시뮬레이션으로, 실제 거래 순서를 여러 번 임의로 섞어서 전략 결과의 우연성을 가늠합니다. 만약 95번째 백분위수의 최대 손실이 내가 감당할 수 있는 위험 한도를 넘는다면, 이 전략은 실전에 적합하지 않습니다.

세 번째는 워크포워드 분석입니다. 과적합된 파라미터들을 잡아내기 위해 과거 데이터에서 여러 구간으로 나누어 반복적으로 재최적화 및 검증을 진행합니다. 만약 여러 구간 중 대부분에서 수익성이 떨어지면 이 전략은 실제로 신뢰할 수 없다는 신호입니다.

이처럼 3가지 검증을 순서대로 돌리면서 빠르게 전략의 신뢰도를 평가합니다. 비용이 작은 테스트에서 걸러내면 시간 낭비를 줄일 수 있고, 여러 실패 유형을 구분해내 거래에 쓸 수 있는 전략을 찾는 데 도움이 됩니다.