엄격한 JSON 스키마로 LLM 제어하기와 모델 장애 대비 방안 🛠️

최근에 MTF 트레이딩 봇인 Leprechaun v2의 3단계 개발을 마쳤어요. 2단계에서는 AI가 수학 계산이나 실행 기능을 완전히 제거한 상태였는데, 이번에는 추론 부분만 다시 맡겼습니다.

작동 방식은 이렇습니다. 파이썬이 D1, H4, H1 차트에서 SMC 지표들(OB, FVG, BOS)을 계산해 깔끔한 마크다운 형식으로 정리한 뒤, 이걸 HTF 에이전트로 보냅니다.

LLM은 수학 계산 없이 오로지 질적인 평가만 하도록 엄격하게 검증된 12개 필드의 JSON(예: Bias, Confidence, DOL Target, Narrative 등)만 반환하도록 했습니다.

이번 단계의 두 가지 큰 기술적 개선점이 있습니다.

첫째, market_situation 태그 도입입니다. 이전에 MTF 정렬을 엄격한 불리언(true)로 요구하면 봇이 유효한 되돌림 신호를 놓치는 문제가 있었는데, AI가 상황을 예를 들어 PULLBACK_AGAINST_TREND으로 분류하게 해서 이 문제를 해결했습니다. 이후 상태 기계에서 이 태그를 활용해 일부 불일치를 허용할 수 있습니다.

둘째, 모델 장애 대비와 서킷 브레이커 설계입니다. JSON 구문 오류가 발생하면 상태 기계가 멈추기 때문에, DeepSeek-V3 모델이 실패할 경우 점진적으로 대기 시간을 늘리며 재시도하고 연속 실패 시 Gemini 2.0 Flash 모델로 자동 전환됩니다.

같이 개발하시는 분들께 질문입니다. 실제 서비스 환경에서 LLM의 JSON 오류(홀루시네이션) 문제를 어떻게 대응하고 계신가요? 완전히 다른 공급자로 전환하는 방식이 일반적인가요, 아니면 같은 모델에 오류를 다시 알려서 자기 수정하게 하는 편인가요?