"모두가 LLM 라우터를 만드는데, 우리는 없앴다" — 비용 최적화의 함정

무엇인가요

AI 워크플로우 스타트업 Manifest는 2026년 3월, 요청의 복잡도를 4단계로 나눠 가장 저렴한 모델을 자동으로 골라주는 ‘LLM 라우터’를 출시했습니다. 목적은 단순합니다 — 쉬운 요청엔 값싼 모델을, 어려운 요청엔 비싼 모델을 써서 비용을 아끼자는 것입니다.

4개월간 7,000명의 사용자 데이터를 분석한 뒤, 회사는 이 기능을 폐기하기로 했습니다. 이유는 세 가지입니다. 첫째, 프롬프트 텍스트만으로는 실제 작업 난이도를 판단하기 어렵습니다. 난이도는 도구 호출이나 웹 검색 같은 실행 과정에서 드러나는 경우가 많았습니다. 둘째, 캐시 효율을 과소평가했습니다. 회사에 따르면 캐시된 입력을 읽는 비용이 캐시되지 않은 입력보다 75~90% 저렴한데, 모델을 계속 바꾸면 이 캐시 이점이 사라집니다. 셋째, 모델을 요청마다 전환하면서 응답 품질의 일관성이 떨어지고 결과를 예측하기 어려워졌습니다. 결론적으로 비용을 아끼려던 시도가 다른 영역에서 숨은 비용을 키운 셈입니다. 이 사례는 해커뉴스에서 상위권에 오르며 “일반적인 라우터는 잘 작동하지 않는다”는 의견이 다수 나왔고, 다만 모델 풀이 작고 역할이 명확히 구분된 특수한 상황에서는 라우팅이 유효할 수 있다는 반론도 있었습니다.

왜 주목할까요

• AI 기능을 만들 때 “이론상 효율적”과 “실제로 효율적”은 다를 수 있다는 걸 실제 사용자 데이터로 보여줍니다.
• 캐시 히트율처럼 눈에 잘 안 띄는 지표가 전체 비용 구조에 얼마나 큰 영향을 미치는지 구체적 수치(75~90%)로 확인할 수 있습니다.
• “만들었다가 없앴다”는 실패담을 투명하게 공개해 같은 문제를 겪을 다른 팀에게 실질적인 참고자료를 제공했습니다.

국내 관점 코멘트

국내에서도 GPT·클로드·국산 LLM(하이퍼클로바X, 코난 등)을 섞어 쓰며 비용을 아끼려는 스타트업이 늘고 있습니다. 이 사례가 주는 실행 힌트는 명확합니다. AI 비용을 줄이겠다고 모델을 계속 바꾸기 전에, 먼저 프롬프트 캐싱과 시스템 프롬프트 고정 같은 단순한 방법부터 점검해보라는 것입니다. 또한 라우터 같은 최적화 기능을 만들기 전에 “실제 얼마나 아낄 수 있는지”를 소규모로 먼저 계측해보는 습관이 필요합니다. 화려한 기능보다 데이터로 검증된 단순한 구조가 결국 더 저렴하고 안정적일 수 있다는 교훈은, AI 기능을 붙이는 국내 서비스 팀 누구에게나 적용됩니다.