🔍 신뢰할 수 있는 오픈소스 암호화폐 과거 데이터 수집 툴 있을까요?

암호화폐 거래 데이터를 오픈소스 기반으로 안정적으로 수집할 수 있는 방법을 찾고 있습니다. 유료 데이터 제공업체는 제외하고, 무료로 쓸 수 있는 자유 소프트웨어(FOSS)를 기준으로 보고 있어요.

제가 원하는 범위는 다음과 같습니다:

- 종목: 암호화폐
- 마켓: 현물과 무기한 선물
- 거래소: 바이낸스, 바이비트, OKX, 코인베이스
- 데이터 종류: 과거 체결 데이터와 1분, 5분 OHLCV 캔들 차트
- 실시간 데이터는 필요 없고, 거래 실행도 제외
- 백테스트용이라 딜레이는 상관없고, 개인 또는 연구 수준의 이용 목적입니다

문제는 거래소 API에서 많은 구간의 과거 데이터를 수집하려고 하면 계속 문제가 발생합니다. 예를 들어, 특정 엔드포인트가 아예 응답이 없거나, 데이터가 중간에 빠져 있거나, 재요청 시 중복되거나 겹치는 경우도 있죠. 심지어 거래소 측에서 과거 데이터를 사후 수정하는 경우도 있더군요.

재시도나 중복 제거는 어느 정도 도움이 되긴 하는데, 장기간 데이터를 수집할 때는 여전히 신뢰성이 떨어진다는 느낌입니다.

혹시 이런 문제를 전반적으로 잘 처리해주는 오픈소스 프로젝트가 있을까요? 예를 들어 데이터 누락 탐지, 안전한 재수집, 자동 백필 등의 기능이 포함된 툴이요. 아니면 대부분의 투자자들이 직접 데이터 수집 파이프라인을 구성해서 관리하는 걸까요?

이미 누군가 오픈소스 형태로 이 문제를 잘 풀었는지, 아니면 각자 알아서 하는 DIY 영역인지 알고 싶습니다.

🧐 배경 설명 및 요약

이 글은 암호화폐 시장 데이터를 수집하려는 한 사용자가 남긴 기술적 질문입니다. 글쓴이는 유료 데이터 제공 업체를 피하고 싶어 FOSS(자유 오픈소스 소프트웨어) 생태계 안에서 신뢰할 수 있는 암호화폐 과거 데이터 수집 솔루션을 찾고 있습니다.

구체적으로는 현물(spot)과 무기한 선물(perps) 마켓의 과거 체결 내역 및 1분, 5분 단위 캔들 데이터를 수집하는 데 관심이 있습니다. 특히 바이낸스, 바이비트, OKX, 코인베이스 등 주요 거래소에서 과거 데이터를 수집할 때, API 오류, 데이터 누락, 중복 데이터 발생 등이 문제가 될 수 있으며, 이 문제들을 자동으로 다루는 오픈소스 툴이 존재하는지 묻고 있습니다.

결국 이 질문의 핵심은 “오픈소스로 이미 잘 구축된 솔루션이 있는지” 아니면 “모두가 DIY 방식으로 구축하는 분야인지” 입니다. 이는 리서치나 백테스트, 알고리즘 트레이딩을 준비하는 개인 또는 팀에게 매우 현실적인 고민이며, 실무적인 참고가 될 수 있는 질문입니다.