AI 비용 관리 기업, 다음 AI 인프라 투자 기회가 될까? 💡

제 생각에는 현재 AI 투자는 대부분 성능 개선, 예를 들어 GPU, 모델 제공자, 대형 클라우드 업체, 데이터 센터, 전력과 냉각 등 하드웨어 중심에 집중되어 있어요. 하지만 앞으로 중요한 AI 테마는 비용 통제일 수도 있다는 생각입니다.

AI가 대기업에 본격적으로 도입될수록 단위당 비용 구조가 문제로 다가올 텐데, 최근 기업 AI 비용이 너무 높아져서 오히려 해당 업무의 기존 인건비를 초과한다는 소식도 들립니다. 그래서 많은 기업이 더 저렴한 모델이나 오픈소스 대안으로 교체하는 움직임도 보이고 있죠.

AI가 시범 단계를 넘어서면서 실제 병목은 모델 성능이 아니라 비용이라는 점이 분명해지고 있습니다. 특히 높은 추론 비용, 코드 자동화에 따른 컴퓨팅 수요 급증, 대규모 클라우드 API 비용, 비용 통제 미흡과 ROI 불투명성, 그리고 민감한 작업을 위한 사설 혹은 하이브리드 추론 필요성이 부각되죠.

제가 초기 조사한 바로는, 토큰 소비를 줄이는 RAG(검색 기반 생성), 벡터 검색 등으로 필요한 데이터만 LLM에 전달해 효율을 높이는 기업들이 있습니다. 예를 들어 Elastic(ESTC)은 엔터프라이즈 검색에 강점을 가지고 있고, MongoDB(MDB)는 데이터 이동 없이 벡터 검색으로 AI 앱 구동을 지원합니다.

또 AI 게이트웨이로 단순한 쿼리는 저렴한 모델에, 복잡한 쿼리는 고가 모델에 자동으로 분배해 비용을 최적화하는 F5(FFIV)도 주목할 만합니다.

그리고 높은 볼륨 또는 민감한 추론 작업을 사내 또는 하이브리드 클라우드에서 처리해 클라우드 비용을 줄이는 Nutanix(NTNX)도 있습니다.

보다 저렴한 비용 관리가 가능한 AI 인프라가 기업들에 꼭 필요한 상황에서 이 분야의 투자가 의미 있을 것 같습니다. 혹시 IT, 클라우드, 데이터 엔지니어링, AI 응용, 관찰 가능성, 비용 관리 쪽에 계신 분들의 의견이 궁금합니다. 실제로 이런 비용 관리 방법이 기업들에 채택될까요? 가장 많은 비용이 투입될 분야는 어디일까요? 그리고 놓친 AI 비용 관리 관련 기업이 있을까요?