AI 에이전트 비용 절감 사례 3건으로 본 토큰 예산 관리법

무슨 일이 일어나고 있나

세 갈래 소식이 한 지점을 가리킵니다.

첫째, 단가와 성능의 관계가 뒤집혔습니다. OpenAI의 GPT-5.6 빌더 가이드는 세 가지 수치를 제시해요. (1) BrowseComp - 잘 알려지지 않은 사실을 검색으로 찾아내는 벤치마크 - 에서 석 달 전 GPT-5.5(Extra High)가 84.36%에 총비용 33.27달러였고, 출시 시점 GPT-5.6 Luna(Extra High)는 84.04%에 1.33달러였습니다. 가이드는 이후 추가 가격 인하도 있었다고 밝힙니다. (2) Agents' Last Exam에서는 하니스를 고정한 조건에서 GPT-5.6 Sol의 'low' 추론이 GPT-5.5의 'high' 추론을 앞섰어요. (3) 가이드는 GPT-5.6을 세 가지 아키텍처 개입과 함께 end-to-end로 학습시켰다고 설명합니다 - 모델 턴 사이에 추론을 persist하는 것, 장기 대화를 압축하는 native compaction입니다.

중요한 건 순서가 아니라 전제입니다. 종전에는 장기 과제일수록 플래그십 모델을 최고 추론 강도로 쓰는 게 최선이었어요. 긴 컨텍스트와 툴 호출을 다루는 능력에서 비용 최적화 모델과 격차가 컸기 때문입니다. 가이드는 5.6 계열에서 이게 바뀌었다고 말합니다. test-time compute를 더 주면 Luna와 Terra가 GPT-5.4, 5.5와 비슷하게 동작하면서 훨씬 저렴하다는 겁니다.

둘째, 사용량 격차가 반년 만에 세 배로 벌어졌어요. OpenAI의 Enterprise Signals 리포트에 따르면 매월 AI 사용량 상위 10%인 프론티어 기업은 활성 사용자 1인당 output 토큰 생성량이 일반 기업의 8.3배입니다. 1월에는 2.6배였어요. 6월 기준 기업 고객의 Codex+ChatGPT 합산 output 토큰 중 Codex가 64%를 차지했습니다. 2월 이후 Codex 주간 활성 기업 사용자는 법무 108배, 영업 41배, 채용 41배, 마케팅 26배로 늘었고, 엔지니어링은 5배였어요. 주간 Plugins 사용률은 프론티어 기업 활성 사용자 21% 대 일반 기업 9%, OpenAI 내부 직원은 95%입니다.

셋째, 그 청구서가 손익계산서에 도착했습니다. S4 Capital은 상반기 영업이익을 전년 동기 1640만 파운드에서 3520만 파운드로 두 배 늘리고 마진을 12.3%로 넓혔는데, 그 동력이 '엄격한 비용 규율'이었습니다. 실적 발표 후 런던 상장 주가가 뛰었어요. 인디 에이전시 PMG는 5월부터 직원 하루 토큰 사용액을 50달러로 제한했습니다. Goldman Sachs는 토큰 소비량이 2026년에서 2030년 사이 24배 늘 수 있다고 전망하며, 그 증가분 대부분이 엔터프라이즈와 비즈니스 사용에서 나온다고 봅니다.

왜 중요한가

"단가가 25배 싸졌는데 왜 비용이 늘어요?"라는 질문에는 한 단계 더 들어간 답이 필요해요.

토큰 단가는 '한 번의 호출' 가격입니다. 그런데 GPT-5.6이 바꾼 건 호출 단가만이 아니라 한 번에 맡길 수 있는 작업의 길이예요. 가이드의 표현대로 GPT-5보다 각 세대는 더 긴 지평(longer-horizon)의 과제를 더 적은 토큰으로 처리하는 방향으로 움직여 왔습니다. 지평이 길어지면 이전에는 사람이 붙잡고 있던 단계가 통째로 위임 대상이 됩니다. 그러니까 호출당 가격은 내리는데 호출당 담기는 일의 양과 호출 횟수가 동시에 늘어요.

프론티어 기업 8.3배라는 숫자를 이 렌즈로 봐야 합니다. 같은 일을 8.3배 비싸게 하는 게 아니라, 위임 범위가 8.3배 넓다는 신호로 읽는 편이 자료에 맞아요. Codex가 output 토큰의 64%를 차지한다는 사실이 이걸 뒷받침합니다. 질의응답형 대화는 output 토큰을 그렇게 많이 쓰지 않아요. 리포트 표현대로 어시스턴트는 생각을 돕고, 에이전트는 일을 끝냅니다. 프레젠테이션을 어떻게 준비하냐고 묻는 대신 여러 출처에서 자료를 모아 초안까지 작성하게 시키는 차이예요.

그리고 이 위임 확산이 엔지니어링 밖에서 훨씬 빠르다는 게 예산 관점의 핵심입니다. 엔지니어링 5배 대 법무 108배. 엔지니어링은 이미 2월에도 쓰고 있었으니 베이스가 높았고, 법무, 영업, 채용은 사실상 0에서 시작했다고 봐야 해요. 즉 앞으로의 토큰 증가분은 개발 조직이 아니라 아직 토큰 비용에 대한 감각이 없는 부서에서 나옵니다. ter Haar의 표현을 빌리면, 팀 전체가 tokenmaxx 하게 두면 다음 주 날씨를 알아내느라 달러를 태우는 사람들이 생겨요.

비용 곡선을 꺾는 장치는 가이드가 이미 제시합니다. 추론 persist로 이미 수행한 작업을 재사용하고, native compaction으로 장기 대화를 압축해서 모델이 긴 과제 지평에서 혼란에 빠지거나 맥락을 재구성하지 않게 만드는 것입니다. 여기서 인과가 한 겹 더 있어요. 맥락 재구성을 안 하면 단순히 토큰이 절약되는 게 아니라, 재구성 과정에서 발생하던 오류가 사라져 정확도가 함께 오릅니다. 가이드가 "top-line 비용 효율 개선이 낮은 추론 강도에서의 정확도 상승과 복리로 결합된다"고 쓴 게 이 지점이에요.

결론적으로 '최상위 모델 + 최고 추론 강도'라는 기본값은 지금 그냥 낭비입니다. 하니스를 바꾸지 않고 이전 기본값에서 추론 강도만 낮춰 상당한 비용 개선을 봤다는 프로덕션 사례가 가이드에 실려 있어요.

이해관계, 역학

OpenAI가 두 리포트를 같은 날 낸 배치를 보면 서사의 설계가 드러납니다. Enterprise Signals는 실무 관점의 에이전트 확산을, 동반 워킹페이퍼 'How Organizations Use AI: Evidence from ChatGPT'는 기업, 직무, 직급별 채택 성장을 다룹니다. 앞의 빌더 가이드는 진입 비용을 25배 낮췄다고 말하고, 뒤의 엔터프라이즈 리포트는 '많이 쓰는 조직이 앞선다'고 말해요. 단가를 내리면서 사용량 확대를 권하는 조합은 플랫폼 매출 관점에서 손해가 아닙니다. 오히려 Goldman Sachs가 말한 24배 소비 증가의 전제 조건을 스스로 만드는 쪽에 가까워요.

특히 주의해서 볼 부분은 리포트가 output 토큰 생성량을 "사용 깊이의 프록시(proxy for depth of use)"라고 명시한 대목입니다. 자사 제품 소비량을 조직 성숙도 척도로 제시하는 구조인데, 토큰을 많이 태우는 것과 성과를 내는 것은 다른 문제입니다. OpenAI 내부 직원 95%의 주간 Plugins 사용률을 "더 깊은 채택의 잠재력"으로 소개한 것도 같은 문법이에요. 벤치마크는 자사 내부값이고, 도달해야 할 목표치는 21%에서 95% 사이 어딘가로 암시됩니다.

에이전시 쪽 유인은 정확히 반대 방향입니다. S4 Capital이 지난주 발표해서 주가를 끌어올린 건 AI 활용 확대가 아니라 비용 규율이었어요. 마진 12.3%, 영업이익 1640만 → 3520만 파운드. 시장이 값을 매긴 건 '얼마나 많이 쓰나'가 아니라 '얼마나 안 새나'입니다. 그런데 같은 인터뷰에서 Sorrell은 "우리가 과용하거나 과하게 탐닉했을 가능성이 있다. 하지만 우리가 하는 일을 생각하면 그게 꼭 나쁜 건 아니다", "현실은 역량을 키우기 위해 더 써야 한다"고도 말합니다. 규율을 인정하면서 지출 확대도 예고하는 이 이중 메시지 자체가 업계의 딜레마예요. 투자자에게는 절감을, 클라이언트에게는 역량을 팔아야 하니까요.

그리고 원가가 아직 제대로 안 보입니다. Forrester의 vp이자 principal analyst인 Jay Pattisall은 "에이전시 내부 AI 비용에 관해서는 아직 다른 쪽 신발이 떨어지지 않았다"고 표현했어요. 그가 인용한 Forrester 조사에서 에이전시의 60%는 좌석 또는 SaaS 모델로 결제하는 서드파티 툴에 지출 우선순위를 두고, 클라우드, 컴퓨트 비용을 우선하는 곳은 35%였습니다. 좌석 과금은 예측 가능하고 인원수에 비례하지만, 토큰, 컴퓨트 과금은 사용량에 비례합니다. 60%가 전자를 보고 있다는 건, 사용량 폭증이 손익에 어떻게 반영되는지 대부분 아직 계측하지 않고 있다는 뜻이에요. 여기에 AI 툴 사용 인원수 기준 라이선스 비용까지 별도로 붙습니다.

한쪽은 사용량을 늘리라 하고 한쪽은 상한을 겁니다. 광고주 입장에서는 이 온도차가 그대로 계약 리스크예요. 대행사가 AI 효율을 내세울 때 토큰과 라이선스 원가를 누가 부담하고 어떻게 가격에 반영하는지가 문서에 없으면, 나중에 수임료 재협상이나 산출물 품질 조정으로 돌아옵니다.

실무에 주는 함의

이번 주에 실제로 손댈 수 있는 것들이에요.

• 단계별 모델, 추론 강도 표를 문서로 고정합니다. 가이드가 든 예시가 구체적이에요. 손글씨 메모를 파싱한 뒤 에이전트 분석으로 넘기는 리걸테크 워크플로라면, 전 구간에 프론티어 모델을 쓰는 대신 추출 단계를 Terra나 Luna로 내려서 상당한 비용을 절감할 수 있습니다. 가이드는 소형 5.6 계열이 고volume 워크로드, 지연에 민감한 상호작용, 에이전트 워크플로 내 반복 단계에 적합하다고 명시합니다. '최상위 모델 전 구간'은 기본값이 아니라 예외 처리로 옮기세요.
• 추론 강도를 한 칸씩 내리는 실험을 이번 스프린트에 넣습니다. 가이드의 프로덕션 사례는 이전 기본값에서 추론 강도를 낮추는 것만으로 여러 워크플로에서 유의미한 비용 개선을 봤다고 보고합니다. 하니스는 그대로 두고 강도만 바꾸는 실험이라 되돌리기도 쉬워요.
• 추론 persist와 compaction을 켜고 토큰 소모를 재측정합니다. 장기 대화가 있는 워크플로에서 맥락 재구성이 반복되고 있다면 여기가 가장 큰 회수 지점입니다. 재측정 지표는 '태스크 완료당 총 output 토큰'으로 잡으세요. 호출당 단가는 이미 의미가 줄었습니다.
• 토큰 FinOps를 차등으로 설계합니다. PMG의 하루 50달러 일괄 상한은 업무 구성이 단순한 조직에 맞는 방식이고, Monks의 'horses for courses'는 저우선순위 업무에 상한을 두되 코딩처럼 에이전트 사용이 폭증한 전문 영역은 상한을 푸는 방식입니다. Monks는 소프트한 제한으로 사용량은 억제하되 직원 효과성은 해치지 않기를 기대하고 있어요. Monks.flow는 과업 적합도에 따라 모델을 전환할 수 있는데, 이런 라우팅 계층이 있으면 상한 정책이 '금지'가 아니라 '자동 하향'으로 작동합니다.
• 비엔지니어링 부서부터 계측을 붙입니다. 증가 배수가 법무 108배, 영업 41배, 채용 41배인데 엔지니어링은 5배예요. 개발 조직은 이미 토큰 감각이 있지만 나머지는 없습니다. 부서별 사용량 대시보드가 없다면 그것부터입니다.
• 개인 워크플로를 팀 자산으로 옮깁니다. 리포트가 제시한 엔터프라이즈 어젠다는 셋입니다. 가치 있는 일을 끝내는 데 필요한 컨텍스트와 툴에 에이전트를 연결할 것, 권한, 검토, 거버넌스를 명확히 세울 것, 개인의 효과적인 워크플로를 공유된 업무 방식으로 전환하도록 도울 것. 프론티어 21% 대 일반 9%라는 Plugins 격차는 툴 구매 여부가 아니라 이 연결, 권한 설계에서 나옵니다.
• 대행사 계약에 토큰 조항을 넣습니다. 부담 주체, 상한, 초과 시 처리, 과금 모델 변경 시 재협상 조건을 문서에 남기세요. 좌석 과금이 사용량 과금으로 넘어가는 전환기에 이 조항 없이 시작한 계약이 나중 분쟁 지점이 됩니다.

리스크, 반대 관점

벤치마크 수치를 그대로 기대하면 실망해요. BrowseComp는 잘 알려지지 않은 사실을 검색으로 찾는 태스크입니다. 우리 워크플로의 프롬프트 길이, 툴 호출 패턴, 컨텍스트 재사용 빈도가 다르면 25배라는 절감폭은 재현되지 않습니다. 25배는 상한선으로 두고, 자체 A/B로 태스크 완료당 총비용 실측치를 잡는 게 맞습니다. 참고로 84.36% → 84.04%는 성능이 미세하게 내려간 값이에요. 정확도 상한이 중요한 워크플로라면 이 0.32%p가 어디서 발생하는지 따로 확인해야 합니다.

추론 강도 하향에도 조건이 붙습니다. Agents' Last Exam에서 Sol의 'low'가 GPT-5.5의 'high'를 앞선 건 "하니스를 고정했을 때(when the harness was kept constant)"라는 단서가 달린 결과입니다. 하니스가 다르면 결론이 그대로 옮겨가지 않아요. 실패 비용이 큰 단계 - 고객 응대 문구, 예산 배분 판단, 컴플라이언스 검토 - 에서 강도를 내렸다가 오류가 나면 절감액보다 수습 비용이 큽니다. 강도 하향은 실패 비용이 낮은 단계부터 순차적으로.

8.3배를 성과 격차로 등치하면 안 됩니다. 이건 output 토큰 생성량이고, 측정 주체는 그 토큰을 파는 회사예요. 리포트 스스로 이걸 '깊이의 프록시'라고 부르지, 성과 지표라고 부르지 않습니다. 실제로 시장에서 보상받은 사례를 보면 방향이 반대예요. S4 Capital이 주가 상승으로 보상받은 지표는 토큰 사용량이 아니라 마진 12.3%였습니다.

지금의 저가가 지속 가능한지도 미지수입니다. 가이드는 출시 후 추가 가격 인하가 있었다고만 밝히고 구체 폭은 이 자료에 공개되지 않았습니다. 한편 Pattisall은 에이전시 내부 AI 원가에 관해 "다른 쪽 신발이 아직 떨어지지 않았다"고 표현했어요. 좌석, SaaS 과금(에이전시 60%가 우선순위로 둔 모델)에서 사용량 기반 과금으로 넘어가고 Goldman Sachs 전망대로 2026-2030년 사이 소비량이 24배 늘면, 단가 하락분은 총액 증가에 완전히 잡아먹힙니다. 단가가 쌀 때 모델 라우팅과 프롬프트 구조를 정리해두지 않으면, 전환 시점에는 조정할 여력 없이 청구서를 받게 돼요.

마지막으로, 상한 정책 자체가 역효과를 낼 수 있습니다. Sorrell은 과용 가능성을 인정하면서도 "우리가 하는 일을 생각하면 그게 꼭 나쁜 건 아니다"라고 했어요. 일괄 상한은 원자료 표현대로 실무 영역이 넓은 조직에는 맞지 않을 수 있습니다. 절감을 목표로 걸었다가 고부가 업무의 처리량을 깎으면, 줄인 건 비용이 아니라 매출입니다.

자주 묻는 질문

AI 에이전트 비용은 어떻게 줄이나요

모델을 싼 것으로 바꾸는 것보다 아키텍처를 고치는 쪽이 폭이 큽니다. GPT-5.6 가이드는 모델 턴 사이에 추론을 persist해 이미 수행한 작업을 재사용하는 것, 장기 대화를 압축하는 native compaction을 제시합니다. 목적은 긴 과제 지평에서 모델이 혼란에 빠지거나 맥락을 처음부터 재구성하지 않게 하는 것이고, 이게 토큰 절감과 정확도 개선을 동시에 만듭니다. 단계별로 소형 모델(Terra, Luna)을 배치하는 것도 함께 봐야 해요.

AI 에이전트 가격 비교는 어떤 기준으로 하나요

토큰 단가만 비교하면 총비용을 놓칩니다. BrowseComp 사례에서 같은 84%대 성능을 내는 데 GPT-5.5(Extra High)는 33.27달러, GPT-5.6 Luna(Extra High)는 1.33달러가 들었어요. 즉 기준은 '태스크 완료당 총비용'과 '추론 강도별 정확도' 두 축이어야 하고, 캐시 재사용률처럼 우리 워크플로 특성에 좌우되는 변수는 자체 측정이 필요합니다.

AI 에이전트 활용 사례에서 마케팅 조직은 어디까지 왔나요

OpenAI 리포트 기준 2월 이후 Codex 주간 활성 기업 사용자가 마케팅에서 26배 늘었습니다. 법무 108배, 영업 41배, 채용 41배보다는 뒤이고 엔지니어링 5배보다는 앞이에요. 프론티어 기업 활성 사용자 21%가 주간 Plugins를 쓰는데 일반 기업은 9%라는 점에서, 격차는 툴 도입 여부보다 에이전트를 사내 컨텍스트와 툴에 연결했는지에서 벌어집니다.

토큰 비용에 상한을 걸면 업무가 막히지 않나요

일괄 상한은 부작용이 있습니다. Monks의 ter Haar는 'horses for courses' 방식을 제안했어요. 저우선순위 업무에 에이전트를 쓰는 팀에는 상한을 두되, 코딩처럼 사용량이 폭증한 전문 영역은 상한을 푸는 방식입니다. 소프트한 제한으로 사용량은 억제하되 직원 효과성은 해치지 않는 게 목표예요. PMG는 5월부터 직원 하루 50달러 단일 캡을 적용 중인데, 이건 업무 구성이 비교적 단순한 조직에 더 맞는 설계입니다.

지금 단가가 계속 싸질 텐데 최적화를 미뤄도 되나요

Forrester의 Pattisall은 에이전시 내부 AI 비용에 관해 아직 다른 쪽 신발이 떨어지지 않았다고 봅니다. 서드파티 툴을 좌석, SaaS로 결제하는 곳이 60%, 클라우드, 컴퓨트 비용을 우선하는 곳이 35%라 실제 원가 구조가 아직 드러나지 않았다는 뜻이에요. Goldman Sachs는 2026-2030년 사이 토큰 소비량이 24배 늘 수 있고 그 대부분이 엔터프라이즈 사용에서 온다고 전망합니다. 단가가 쌀 때 라우팅과 프롬프트 구조를 정리해두는 게 전환기 대비책입니다.