AI 에이전트 비용 절감 사례 3건으로 본 토큰 예산 관리법

무슨 일이 일어나고 있나

세 갈래 소식이 같은 지점을 가리켜요.

첫째, 단가입니다. OpenAI가 낸 GPT-5.6 빌더 가이드는 벤치마크 두 개로 개선폭을 보여줘요. BrowseComp에서 석 달 전 GPT-5.5(Extra High)가 84.36%에 총비용 33.27달러였는데, GPT-5.6 Luna(Extra High)는 84.04%를 1.33달러에 냈습니다. 약 25배 차이죠. ARC-AGI-3에서는 GPT-5.6 Sol이 기본 하니스로 13.3%였다가, 추론 유지(retained reasoning)와 압축(compaction)을 켜니 출력 토큰을 약 6배 줄이면서 38.3%로 올라갔습니다. Agents' Last Exam에서는 하니스를 고정한 상태에서 Sol의 'low' 추론이 GPT-5.5의 'high' 추론을 앞섰다고 해요.

둘째, 사용량입니다. OpenAI의 Enterprise Signals 리포트를 보면 상위 10% 프론티어 기업은 활성 사용자 1인당 output 토큰 생성량이 일반 기업의 8.3배예요. 1월엔 2.6배였어요. 반년 만에 격차가 세 배로 벌어졌고, 6월 기준 Codex가 기업 고객의 Codex+ChatGPT 합산 output 토큰 중 64%를 차지했어요. 2월 이후 비엔지니어링 직군의 Codex 주간 활성 사용자는 법무 108배, 영업 41배, 채용 41배, 마케팅 26배로 늘었고 엔지니어링은 5배였어요.

셋째, 청구서입니다. S4 Capital은 상반기 영업이익을 전년 1640만 파운드에서 3520만 파운드로 두 배 늘리고 마진을 12.3%까지 올렸는데, 그 배경에 엄격한 비용 관리가 있었습니다. Sorrell 회장은 토큰 지출에 관해 "규율이 없었다"고 인정했고, Monks 쪽은 토큰 사용이 '폭발'하고 있다고 말합니다. 인디 에이전시 PMG는 5월부터 직원 하루 토큰 사용액을 50달러로 제한했습니다. Goldman Sachs는 토큰 소비량이 2026년부터 2030년 사이 24배까지 늘 수 있다고 봐요.

왜 중요한가

토큰 단가가 25배 싸졌다는 뉴스와 토큰 비용이 폭증한다는 뉴스가 모순이 아니에요. 단위 원가가 내려가면 그 자원으로 하던 일의 범위가 넓어져요. 프론티어 기업의 1인당 출력 토큰이 8.3배라는 건 같은 일을 8.3배 비싸게 한다는 뜻이 아니라, 예전엔 사람이 하던 작업을 에이전트에게 위임했다는 신호로 읽는 게 맞아요. Codex가 output 토큰의 64%를 먹는다는 수치가 그 방향을 뒷받침해요. 질의응답용 대화는 토큰을 그렇게 많이 쓰지 않아요.

여기서 비용 곡선이 갈려요. 단가 하락 → 사용량 증가 → 총지출 증가가 기본 경로인데, 이걸 방치하면 S4가 겪은 상황이 됩니다. GPT-5.6 가이드가 강조하는 세 가지 아키텍처 개선이 바로 이 곡선을 꺾는 장치입니다. 추론 유지는 이전 작업의 결과를 재사용하고, native multi-agent orchestration은 작업을 병렬로 쪼개고, Programmatic Tool Calling은 판단이 필요 없는 결정적 작업을 코드로 넘겨요. ARC-AGI-3에서 출력 토큰을 6배 줄이면서 점수가 세 배 가까이 오른 게 이 조합의 결과입니다. 프롬프트 캐시 TTL이 최소 30분으로 늘고 캐시 브레이크포인트를 결정적으로 지정할 수 있게 된 것도 반복 단계가 많은 워크플로에서 체감이 커요.

주목할 점은 이 개선이 모델 교체를 요구하지 않는다는 거예요. 하니스를 고정한 상태에서 추론 강도만 낮춰도 이전 세대 상위 설정을 앞선다는 결과가 나왔으니까요. 그러니까 '무조건 최상위 모델 + 최고 추론 강도'라는 기본값이 지금은 그냥 낭비입니다.

이해관계, 역학

OpenAI가 두 리포트를 같은 시기에 낸 순서를 보면 의도가 보여요. 비용을 25배 낮췄다는 빌더 가이드로 진입 문턱을 낮추고, 프론티어 기업 8.3배 격차 리포트로 '더 많이 쓰는 조직이 앞선다'는 서사를 붙였습니다. 단가를 내리면서 사용량을 늘리라고 권하는 건 플랫폼 매출로 보면 손해가 아니에요. output 토큰 생성량을 성숙도 지표(proxy for depth of use)로 제시한 부분은 특히 주의해서 봐야 해요. 자사 제품 소비량을 조직 역량 척도로 쓰는 구조인데, 토큰을 많이 태우는 것과 성과를 내는 것은 다른 얘기입니다. OpenAI 내부 직원 95%가 Plugins를 주간 사용한다는 수치를 '성장 여지'로 제시한 것도 같은 문법입니다.

에이전시 쪽 유인은 정반대예요. S4가 발표한 건 AI 활용 확대가 아니라 비용 규율입니다. 마진 12.3%와 영업이익 두 배가 주가 상승으로 이어졌으니, 지금 시장은 '얼마나 많이 쓰나'보다 '얼마나 안 새나'에 값을 매기고 있어요. Forrester의 Jay Pattisall이 지적한 대목이 이 구조를 설명해 줘요. 지금은 증시와 사모펀드가 AI 비용을 사실상 보조하는 상황이고, 서비스 제공사가 SaaS 좌석 과금에서 토큰, GPU 기반 과금으로 넘어가면 에이전시들은 실제 원가가 훨씬 높다는 걸 알게 된다는 거예요. Forrester 조사에서 에이전시 60%가 좌석, SaaS 모델로 결제하는 서드파티 툴에 지출 우선순위를 두고, 클라우드, 컴퓨트 비용을 우선하는 곳은 35%였어요. 원가가 어디서 발생하는지 아직 대부분이 제대로 안 보고 있다는 뜻이죠.

한쪽은 사용량을 늘리라고 하고, 한쪽은 상한을 걸고 있습니다. 광고주 입장에서 계약을 볼 때 이 온도차가 그대로 리스크입니다. 대행사가 AI로 효율을 낸다고 제안할 때 그 토큰 원가를 누가 부담하고 어떻게 가격에 반영하는지가 명시돼 있지 않으면, 나중에 수임료 재협상이나 산출물 품질 하락으로 돌아와요.

실무에 주는 함의

마케팅, 데이터 조직이 이번 주에 손댈 수 있는 것들이에요.

• 단계별 모델, 추론 강도 표를 만들어요. 파이프라인을 단계로 쪼개고 각 단계에 모델과 추론 강도를 지정합니다. 가이드가 든 예시가 명확합니다. 손글씨 메모를 파싱한 다음 분석하는 리걸테크 워크플로라면, 추출 단계는 Terra나 Luna로 내리고 판단 단계만 상위 모델을 씁니다. 전 단계 최상위 모델은 기본값이 아니라 예외로 돌려두세요.
• 결정적 작업을 코드로 내려요. 필터링, 집계, 포맷 변환처럼 판단이 필요 없는 작업을 LLM 토큰으로 처리하고 있으면 Programmatic Tool Calling 쪽으로 옮깁니다. ARC-AGI-3 결과처럼 토큰이 줄면서 정확도가 오르는 구간이 여기입니다.
• 캐시 적중률을 지표로 잡아요. 캐시 TTL이 최소 30분으로 늘고 브레이크포인트를 결정적으로 지정할 수 있게 됐으니, 반복 프롬프트의 앞부분 구조를 고정하는 것만으로도 회수 여지가 있습니다. 적중률을 대시보드에 올려두지 않으면 개선했는지 알 수 없습니다.
• 토큰 FinOps를 도입합니다. PMG의 하루 50달러 상한, Monks의 'horses for courses'(코딩처럼 사용이 폭증하는 영역은 상한을 풀고 저우선순위 업무엔 상한을 두는 방식)가 참고 모델입니다. 팀, 업무 우선순위별 차등 상한이 일괄 상한보다 현실적입니다.
• 개인 워크플로를 팀 자산으로 옮겨요. OpenAI 리포트가 제시한 엔터프라이즈 어젠다가 세 가지입니다. 에이전트를 필요한 컨텍스트, 툴에 연결하고, 권한, 검토, 거버넌스를 명확히 하고, 개인의 효과적인 워크플로를 공유 방식으로 전환하는 것. 프론티어 기업 활성 사용자 21%가 주간 Plugins를 쓰는데 일반 기업은 9%라는 격차는 툴 구매 차이가 아니라 연결, 권한 설계 차이에서 나와요.
• 대행사 계약에 토큰 조항을 넣어요. AI 활용을 제안받으면 토큰, 라이선스 원가의 부담 주체, 상한, 초과 시 처리를 문서에 남깁니다. 좌석 과금이 토큰 과금으로 바뀌는 전환기에 이 조항 없이 시작한 계약이 나중에 분쟁 지점이 돼요.

리스크, 반대 관점

벤치마크 수치를 그대로 기대하면 실망해요. BrowseComp는 잘 알려지지 않은 사실을 검색해 찾는 태스크이고, ARC-AGI-3도 특정 구조에 맞춰진 평가예요. 우리 워크플로의 프롬프트 길이, 툴 호출 패턴, 컨텍스트 재사용 빈도가 다르면 캐시 적중률과 토큰 절감폭이 그대로 재현되지 않아요. 25배는 상한선으로 보고, 자체 A/B로 실측치를 잡아야 합니다.

추론 강도를 낮추는 데도 함정이 있습니다. Agents' Last Exam에서 'low'가 이전 세대 'high'를 앞섰다는 건 하니스를 고정한 조건의 결과입니다. 실패 비용이 큰 단계(고객 응대 문구, 예산 배분 판단, 컴플라이언스 검토)에서 추론 강도를 내렸다가 오류가 나면 절감액보다 수습 비용이 커요. 강도 하향은 실패 비용이 낮은 단계부터 적용하는 게 순서입니다.

8.3배 격차를 성과 격차로 등치하는 것도 위험해요. 이건 output 토큰 생성량이고 OpenAI 자체 데이터예요. 토큰을 많이 태우는 조직이 반드시 매출을 더 내는 건 아니고, 반대로 사용량이 적어도 사람이 검토하는 구간을 잘 배치한 조직이 오류 비용을 덜 낼 수 있어요. S4가 시장에서 보상받은 지표는 토큰 사용량이 아니라 마진이었어요.

반대 시나리오도 열어둬야 해요. Pattisall이 말한 것처럼 지금의 저가는 증시와 사모펀드 자금이 받쳐주는 구조일 수 있습니다. 요금제가 좌석 과금에서 토큰, GPU 과금으로 넘어가고 Goldman Sachs 전망대로 소비량이 24배로 늘면, 단가 하락분이 총액 증가에 완전히 잡아먹혀요. 지금 단가가 싸다고 아키텍처 최적화를 미루면 그 시점에 한꺼번에 청구서를 받게 됩니다. 프롬프트 최적화와 모델 라우팅은 단가가 쌀 때 미리 해두는 기본기입니다.

자주 묻는 질문

AI 에이전트 비용은 어떻게 줄이나요

모델을 싼 걸로 바꾸는 것보다 아키텍처를 고치는 쪽이 폭이 큽니다. GPT-5.6 가이드는 세 가지를 제시해요. 이전 작업 결과를 재사용하는 추론 유지, 작업을 병렬로 쪼개는 멀티에이전트 오케스트레이션, 판단이 필요 없는 결정적 작업을 코드로 넘기는 Programmatic Tool Calling입니다. ARC-AGI-3에서는 추론 유지와 압축을 켜서 출력 토큰을 약 6배 줄이면서 점수가 13.3%에서 38.3%로 올랐어요.

AI 에이전트 가격 비교는 어떤 기준으로 하나요

토큰 단가만 비교하면 실제 총비용을 놓쳐요. BrowseComp 사례처럼 같은 점수대(84%)를 내는 데 GPT-5.5 Extra High는 33.27달러, GPT-5.6 Luna Extra High는 1.33달러가 들었습니다. 즉 '태스크 완료당 총비용'과 '추론 강도별 정확도'를 함께 봐야 하고, 캐시 적중률처럼 우리 워크플로 특성에 좌우되는 변수는 자체 측정이 필요합니다.

AI 에이전트 활용 사례에서 마케팅 조직은 어디까지 왔나요

OpenAI 리포트 기준으로 2월 이후 Codex 주간 활성 사용자가 마케팅에서 26배 늘었어요. 법무 108배, 영업 41배, 채용 41배에 비하면 뒤쪽이고 엔지니어링(5배)보다는 앞이에요. 프론티어 기업 활성 사용자 21%가 주간 Plugins를 쓰는데 일반 기업은 9%라는 점에서, 격차는 툴 도입보다 에이전트를 사내 데이터, 툴에 연결했는지에서 벌어집니다.

토큰 비용에 상한을 걸면 업무가 막히지 않나요

일괄 상한은 부작용이 있습니다. Monks는 'horses for courses' 방식으로, 토큰 사용이 폭증하는 코딩 영역엔 상한을 풀고 저우선순위 업무엔 상한을 두고 있습니다. PMG는 직원 하루 50달러라는 단일 캡을 썼는데, 업무 구성이 단순한 조직에 더 맞는 방식입니다. 우선순위별 차등 상한부터 설계하는 편이 안전합니다.

지금 단가가 계속 싸질 텐데 최적화를 미뤄도 되나요

Forrester는 지금 저가가 증시, 사모펀드 자금이 받쳐주는 구조라고 봐요. 서비스 제공사가 좌석, SaaS 과금에서 토큰, GPU 과금으로 넘어가면 실제 원가가 드러나고, Goldman Sachs는 토큰 소비량이 2026-2030년 사이 24배까지 늘 수 있다고 전망해요. 단가가 쌀 때 모델 라우팅과 프롬프트 구조를 정리해두지 않으면 전환 시점에 조정 여력이 없어요.