11편 백테스트에서 1등을 한 전략은 TQQQ에 200일 이동평균 필터를 붙인 것으로, 2017~2026년 연평균 36.2%였다. 그 숫자에 생존편향이 얼마나 끼어 있는지 점검했다.
$1,000이 $17,767이 되는 곡선이었지만, 닷컴 붕괴나 금융위기 같은 큰 약세장을 한 번도 지나지 않은 표본에서 나온 숫자였다. 글을 쓰기 전에 백테스트를 다시 뜯어보다가 알게 됐다.
세 갈래 점검에서 표본만 걸렸다
검증은 내 결과를 반박할 생각으로 돌렸다. 미래 정보가 새어 들어왔는지, 비용을 제대로 뺐는지, 표본 자체가 공정한지 세 갈래로 나눴다.
| 검증 항목 | 판정 | 근거 |
|---|---|---|
| 미래 정보 유입 | 신뢰 가능 | t일 종가까지만 보고 t+1일 시가에 체결. 일부러 만든 5일짜리 합성 데이터로 하루 지연이 실제로 강제되는지 확인 |
| 비용 모델 | 정확 | 수수료·슬리피지·거래세 상수와 매수/매도 계산식을 손으로 재검산. 비용이 실제 잔고에서 빠지는지 대조 |
| 표본 공정성 | 심각한 결함 | 상위권을 싹쓸이한 레버리지 추세 전략이 2000~2002년과 2008년을 한 번도 통과하지 않았음 |
앞의 둘은 11편에 적은 대로 통과했고, 세 번째에서 심각한 결함 판정이 나왔다. 내 결과에 이런 딱지를 붙이는 게 유쾌하지는 않았다. 그래도 이 판정 하나 때문에 봇의 자산 배분을 통째로 다시 짰다. 검증에 쓴 백테스트 도구는 지금도 명령 한 줄이면 같은 표를 다시 뽑는다.
python3 scripts/strategy_zoo_backtest.py
# 출력: strategy_zoo_results.json (전 전략 지표 + 비용 민감도 + 장기창 결과)
# strategy_zoo_equity.png (자산 곡선)1등 전략이 한 번도 지나가 보지 않은 약세장
TQQQ는 2010년에야 나왔다. 나스닥100을 하루 단위로 3배 추종하는 이 상품은 닷컴 붕괴(2000~2002년)에도 2008년 금융위기에도 없었으니, 그 시기를 담은 백테스트는 애초에 불가능하다. 내 평가 구간은 2011년과 2017년에 시작해서 TQQQ가 살아 있던 기간만 잘라서 봤다. 그 안에서 본격적인 약세장은 2022년 한 번뿐이었고, 그해 TQQQ 단순 보유는 −79.8%를 맞았다.
다른 낙폭과 나란히 놓아 봤다. 마지막 줄은 그때 3배 상품이 있었다고 가정한 외부 추정치다.
| 구분 | 최대 낙폭 |
|---|---|
| TQQQ 단순보유 (2017~26 실측) | −81.7% |
| QQQ 닷컴 붕괴 (2000~02 실측) | −83% |
| 3배 상품 닷컴 통과 (외부 추정) | 약 −100% |
나스닥100 ETF인 QQQ의 −83%는 2000년 3월 고점에서 2002년 10월 저점까지 빠진 폭이다. 3배 상품은 등락이 반복될수록 원금이 깎여 나가는 구조라서, 같은 구간이면 거의 전액을 잃었으리라는 게 표의 외부 추정이다. 닷컴 붕괴 직후에 들어갔더라도 3배 상품이 원래 지수의 성적을 다시 따라잡은 건 2007년 말이었고, 곧바로 금융위기가 왔다.
그러니 36%에는 조건이 붙는다. 레버리지 추세 추종이 비용을 이겨 낸다는 결론은 2010~2025년이라는 특정 상승장에서만 참이다.
오늘 화면에 남은 종목만 골랐다
종목을 고른 방식부터 치우쳐 있었다. 나는 오늘 증권사 화면에 남아 있는 상품 중에서 골랐고, 중간에 청산돼 사라진 상품은 후보에 오르지도 못했다.
모닝스타의 2024년 집계로는 미국 레버리지·인버스 상장지수상품의 52%가 폐지됐다(일반 상품은 31%). 변동성 지수를 거꾸로 추종하던 XIV처럼 2018년 2월 하루에 −96.3%가 나고 그달에 사라진 상품은, 지금 백테스트 도구에서 검색도 되지 않는다. TQQQ가 내 후보에 있다는 것부터 살아남은 쪽에서 골랐다는 뜻이다.
수익률 상위권에 별표를 달았다
점검을 마치고 보니 성적표 상위권 대부분에 별표를 달아야 했다. 수익률 순위와 채택 여부를 나란히 놓으면 이렇다.
| 전략 | 연 수익률 | 최대 낙폭 | 채택하지 않은 이유 |
|---|---|---|---|
| 비트코인 200일선 | 59.9% | −65.8% | 표본 전체가 “살아남은 코인”의 성장사. 0이 됐을 수도 있는 경로가 데이터에 없음 |
| TQQQ 단순보유 | 40.9% | −81.7% | 낙폭 −80% 구간을 버틸 사람이 거의 없음. 게다가 이 −81.7%는 순한 표본에서 나온 값 |
| 메가캡 상위 2종목 | 34.9% | −36.7% | 위험 대비 성적은 최고(샤프 1.25)지만, 2017년에 지금의 승자 6종목을 미리 알았다는 가정. 재현 불가 |
| TQQQ 변동성 타깃 | 34.0% | −48.5% | 같은 편향을 안고 있지만, 규칙 자체가 위험이 커지면 노출을 줄이도록 설계돼 채택 (조건부) |
메가캡 상위 2종목은 위험 대비 성적으로는 이 표에서 가장 낫다. 하지만 2017년으로 돌아가 지금의 대장주 목록을 만들 방법이 없어서 참고용 열로만 남겼다.
성적을 실제보다 낮게 만든 오차도 적어 둔다
점검에서 나온 오차가 전부 성적을 부풀리는 쪽이었던 건 아니다. $1,000으로는 소수점 매매 없이 정수 주식만 살 수 있다. 저가인 TQQQ는 영향이 −1% 정도로 작지만, 5개 자산을 나눠 담는 분산형 전략은 한 칸에 최대 절반이 현금으로 놀아서 실제보다 8~50%포인트까지 낮게 평가됐다. 분산형이 불리하게 나온 순위는 그만큼 할인해서 봐야 한다.
비용에도 성적을 낮춘 오차가 있다. 위험 회피 구간에 현금 대신 단기 국채 상품을 담도록 짜서, 그때마다 매매 비용이 두 번 들었다. 그래서 200일선 전략의 누적 비용이 실제로는 약 $542인데 표에는 $1,012로 잡혔다. 이 전략의 진짜 성적은 발표한 표보다 좋다는 얘기다. 9편에 적은 대로 일부러 불리한 쪽으로 남겨 둔 오차라서 고치지 않았다.
그럼 백테스트에서 건진 건 없나
하나 있다. 매매가 잦으면 비용이 수익을 다 가져간다는 결론이다. 같은 규칙에서 수수료만 0으로 바꿔 돌리면 순위가 뒤집히는 산수라서, 표본에 어떤 시장이 들어왔는지와 상관이 없다. 계산은 왕복 비용을 다룬 12편에 적었다.
1등 전략을 버리지 않고 믿는 정도를 낮췄다
심각한 결함 판정이 나왔어도 1등 전략을 버리지는 않았다. 갈림길은 표본에 본격 약세장이 있었느냐 하나였다.
있으면 숫자를 그대로 쓰고, 없으면 비중을 줄이고 약세장에서 빠지는 규칙과 변동성 타깃을 의무로 붙인 뒤에만 쓴다.
그래서 먼저 단순 보유를 후보에서 뺐다. 수익률 1등이어도 낙폭 −80%대 상품을 그냥 들고 있는 선택지는 지웠다. 다음으로 200일선 규칙을 의무로 넣었다. 나스닥100이 200일 이동평균 위일 때만 레버리지 상품을 들고, 아래면 단기 국채로 빠진다. 표본에 없던 하락장이 와도 자동으로 손을 떼게 하려는 것이다. 여기에 변동성 타깃을 얹어서 최근 실현 변동성이 커지면 노출이 자동으로 줄게 했다. 이 규칙 하나로 2022년 손실이 −48.0%에서 −14.6%로 줄었고, 2011~2026년 기준으로도 단순 200일선(연 24.0%)보다 나은 연 26.6%가 나온다.
이 글은 개인이 만든 자동매매 시스템의 개발과 검증 기록이고 특정 종목이나 상품의 매매를 권하는 글이 아니며, 레버리지 상품은 원금 대부분을 잃을 수 있는 고위험 상품이다.
참고한 자료: TQQQ 장기 보유 분석, 닷컴 구간 시뮬레이션 (Optimized Portfolio), 인버스 변동성 상품 XIV 조기상환 보도 (ETF.com), 상장지수상품 폐지율 집계, 모닝스타 2024 인용 (ETF Database), 백테스트의 생존편향과 상장폐지 종목 처리 (Quantified Strategies)