LLM 토큰 비용, 클라우드 비용처럼 관리하기
■ 문제: LLM 토큰 비용이 API 키별 월 합계로만 보여, 어떤 기능이 얼마를 쓰는지 모른 채 청구서가 커집니다.
■ 해결: 클라우드 비용에 쓰던 할당, 요금제 선택, 단위 비용 관리를 토큰에도 그대로 적용합니다.
■ 효과: 월말 합계 한 줄이던 AI 비용이 기능별 1건당 비용으로 바뀌고, 배치·캐시로 옮길 호출이 드러납니다.
상담 요약 기능을 붙인 지 두 달째, 재무팀이 LLM API 청구서를 들고 왔습니다. 엔지니어가 아는 것은 API 키 하나에 붙은 월 합계뿐이었습니다. 요약 기능 몫인지, 사내 검색 챗봇 몫인지, 같은 키를 빌려 쓰던 테스트 스크립트 몫인지 나눌 방법이 없었습니다.
LLM 토큰 비용을 클라우드 비용처럼 관리할 수 있을까요? 결론부터 말씀드리면, 됩니다. 관리 도구가 이미 요금제 안에 들어 있습니다.
LLM 토큰 비용은 단가가 하나가 아닙니다
쓴 만큼 붙는 종량제라는 점은 클라우드와 같습니다. 다른 점은 같은 모델 안에서도 토큰 종류마다 값이 다르다는 것입니다. FinOps Foundation의 토큰 경제(Tokenomics) 자료는 대부분의 공급자가 출력 토큰을 입력 토큰보다 비싸게, 때로는 3~5배로 받는다고 정리합니다. 답을 길게 받는 기능일수록 청구서가 빨리 자랍니다.
같은 자료에는 이런 문장도 있습니다. "토큰은 청구 단위이지 가치 단위가 아니다." 토큰 총량이 늘었다는 사실만으로는 그 돈이 잘 쓰였는지 알 수 없습니다.
클라우드에서 쓰던 손잡이가 토큰에도 있습니다
요금 구조를 들여다보면 익숙한 모양이 보입니다.
- 바로 응답할 필요가 없는 호출은 배치로 보냅니다. Anthropic 문서와 Amazon Bedrock 가격 페이지 모두 배치 처리를 표준 요금의 50%로 안내합니다(Bedrock은 일부 모델)
- 반복되는 긴 시스템 프롬프트는 캐시에 올립니다. Anthropic 문서 기준 캐시 읽기는 기본 입력 단가의 0.1배입니다(일부 모델 예외)
- 사용량이 꾸준하다면 처리량 약정도 후보입니다. Bedrock의 Provisioned Throughput은 모델 단위(model unit)당 시간 요금으로 표기돼, 온디맨드와 약정의 관계가 인스턴스와 닮았습니다
캐시는 공짜가 아닙니다. 같은 문서에서 5분짜리 캐시 쓰기는 기본 입력 단가의 1.25배라, 재사용이 적은 프롬프트를 캐시에 올리면 오히려 손해입니다.
도입 전과 후, 무엇이 달라지나요
도입 전에는 재무팀이 월말에 청구서 총액을 받고, 엔지니어는 키 하나에 묶인 합계를 놓고 원인을 추측합니다. 요약도 챗봇도 전부 실시간 요금으로 돕니다.
도입 후에는 기능마다 API 키를 나누고 호출 기록에 기능명을 남깁니다. 같은 담당자가 매주 '상담 요약 1건당 비용'을 봅니다. 밤사이 몰아서 돌던 상담 이력 요약은 배치로 옮겨 갑니다. 비용을 만드는 순간 주인을 정해 두는 방식은 AI 에이전트 비용 할당 글에서 다뤘습니다.
처음의 재무팀 질문으로 돌아가 보면, 이제 답은 기능별 1건당 비용과 배치로 옮긴 비율입니다. 그 숫자를 예산으로 잇는 일은 AI 비용 예산 글에 이어 두었습니다.
자주 묻는 질문(FAQ)
Q. LLM 토큰 비용도 태그처럼 나눌 수 있나요?
네, 나눌 수 있습니다. 클라우드 리소스 태그와 같은 기능은 공급자마다 다르지만, 기능별로 API 키를 나누거나 호출 기록에 기능명을 남기면 같은 효과를 냅니다.
Q. 배치 처리는 언제 쓰면 좋나요?
결과를 바로 받지 않아도 되는 작업에 씁니다. 상담 이력 일괄 요약, 문서 분류, 평가용 대량 호출이 대표적입니다.
Q. 프롬프트 캐싱은 항상 이득인가요?
아닙니다. 캐시 쓰기가 기본 입력 단가보다 비싸서, 같은 앞부분을 여러 번 재사용하는 프롬프트에서만 이득이 납니다.
