Datadog Agent Observability로 AI 에이전트 비용 줄이는 방법

청구서만 봐서는 원인을 모르는 이유

프로바이더 청구서는 얼마를 썼는지는 알려주지만, API 키와 모델 기준으로 묶여 있어서 어떤 애플리케이션과 워크플로 단계가 호출을 만들었는지는 안 보여요. 청구액이 오른 원인이 트래픽 증가인지, 모델 변경인지, 프롬프트 캐시 활용 부진인지, 에이전트 루프인지, 다단계 워크플로 어딘가의 변경인지 가르기가 어렵습니다. 원문은 에이전트 비용이 모델 호출 횟수만이 아니라 루프가 몇 턴 도는지, 도구를 몇 번 부르는지, 검색한 컨텍스트를 얼마나 들고 다니고 매 턴 다시 보내는지로 쌓인다고 설명해요.

Cost 페이지에서 보는 것

Cost 페이지는 기간 전체 지출과 이전 기간 대비 변화를 한 화면에 보여줍니다. 총액을 앱별, 프로바이더별로 쪼갤 수 있고, 커스텀 태그를 쓰면 팀, 기능, 환경 같은 차원으로도 나눌 수 있어요. 총비용 옆에는 요청당 평균 비용, 캐시 적중률(cache hit ratio), 캐시 재사용률(cache reuse ratio)이 같이 나옵니다.

이 지표를 이전 기간과 비교하면 트래픽이 전반적으로 늘어난 건지, 요청 하나를 처리하는 효율이 달라진 건지 구분됩니다. 원문 예시처럼 트래픽이 40% 늘면서 청구서가 40% 오른 경우와 트래픽 그대로 청구서만 40% 오른 경우는 전혀 다른 문제예요. 앱 테이블은 총비용, 트레이스당 비용, 캐시 적중률, 캐시 재사용률, 상위 모델을 나란히 놓고 비교해줘서, 트래픽이 많아도 요청당으로는 효율적인 앱과 물량은 적은데 효율이 낮은 앱을 가려낼 수 있습니다.

비싼 호출을 트레이스로 따라 내려가기

비용이 큰 앱을 찾았다면 Most Expensive LLM Calls 표에서 추정 총비용 순으로 호출을 볼 수 있어요. 모델, 입력과 출력 토큰, 입력 미리보기가 같이 나오고, 호출을 선택하면 원본 트레이스가 열립니다. 트레이스는 요청 전체의 추정 비용과 토큰 사용량을, 개별 스팬은 특정 LLM 작업의 비용과 토큰을 보여줘요.

이렇게 보면 큰 응답 하나 때문에 비싼 요청과, 반복 호출이나 에이전트 루프, 중복 도구 작업, 비싼 하위 작업 때문에 비싼 요청이 구분됩니다. Execution Graph는 에이전트, LLM 호출, 도구, 평가가 어떻게 이어지는지 보여주고요. 평가(evaluation)를 함께 보면 비싼 단계가 불필요한 건지, 응답 품질이나 안전성에 기여하는 건지 판단하기 쉬워집니다. APM까지 같이 계측한 앱이라면 LLM 호출과 상하위 서비스의 트레이스를 오가며 지연이나 오류의 출처를 가릴 수도 있어요.

Cost Savings Opportunities와 Experiments

Cost Savings Opportunities는 관찰된 앱 동작에서 줄일 수 있는 낭비를 찾아 앱별, 예상 절감액 순으로 정렬해줍니다. 원문이 드는 사례는 프롬프트 캐싱을 안 쓰는 앱, 재사용할 프롬프트 앞부분을 매번 바꾸는 동적 콘텐츠, 캐시 적중을 막는 메시지 형식 불일치, 반복 재생성되는 프롬프트 입력, 호출마다 바뀌는 도구 정의 같은 것들이에요. 캐시 적중률이 낮다는 지표만 보는 것보다, 그 결과를 만든 요청 구성 방식까지 짚어준다는 점이 실용적입니다.

각 인사이트에는 예상 절감액과 근거가 붙습니다. 예를 들어 캐시 적중률을 0%에서 55%나 80% 같은 목표로 올릴 때의 절감액을 추정하는데, 목표가 명시돼 있으니 그 가정이 우리 트래픽에 현실적인지 따져볼 수 있어요. 'How we found this' 화면에서는 표본 크기, 관찰 기간, 필터, 추론 단계, 한계를 확인할 수 있고, Next Steps에서는 개선 가이드를 받습니다. Fix with Bits로 이어가거나 에이전트 프롬프트를 복사해 다른 코딩 워크플로에 쓰는 것도 가능합니다. 비용을 줄이면서 품질이 유지되는지는 Experiments로 같은 데이터셋에 돌려 검증하고, 40,000 LLM 스팬까지는 월 무료예요.

실무 적용 체크리스트

• 비용이 오르면 먼저 요청당 평균 비용과 트래픽을 같이 봐서 물량 문제인지 효율 문제인지 가르세요.
• 총비용이 큰 앱보다 트레이스당 비용이 높거나 캐시 재사용이 낮은 앱이 더 싼 개선 대상일 수 있어요.
• 모델 변경 이력은 프로바이더, 모델, 토큰 유형, 버전별로 나눠서 어느 배포가 원인인지 확인합니다.
• 절감 인사이트는 가정한 캐시 적중률 목표가 현실적인지, 근거와 한계를 확인한 뒤 코드를 고치세요.
• 비용 절감은 품질 평가를 같이 돌려 검증한 뒤 반영합니다.

자주 묻는 질문

AI 에이전트란 무엇이고 왜 비용이 복잡한가요?

AI 에이전트는 루프를 돌며 LLM 호출, 도구 실행, 검색 같은 여러 단계를 거쳐 일하는 애플리케이션이에요. 원문 기준으로 비용은 어떤 모델을 부르는지와 에이전트가 어떻게 설계됐는지의 곱으로 쌓입니다. 루프 턴 수, 도구 호출 수, 컨텍스트 재전송량이 모두 영향을 줘서 모델 호출 횟수만으로는 설명이 안 돼요.

AI 에이전트 비용은 어디서 새는지 어떻게 찾나요?

Cost 페이지에서 앱별 총비용과 요청당 비용, 캐시 지표를 이전 기간과 비교해 좁혀 갑니다. 이어서 가장 비싼 LLM 호출을 트레이스와 스팬, Execution Graph로 따라가면 반복 호출, 에이전트 루프, 중복 도구 작업이 보여요. Cost Savings Opportunities는 캐시되지 않는 프롬프트 앞부분이나 매 턴 전체를 다시 보내는 대화 이력 같은 낭비 요인을 따로 짚어줍니다.

AI 에이전트 툴은 어떤 걸 비교해야 하나요?

이 글은 Datadog 한 제품만 다뤄서 도구 간 비교 근거는 원문에 없습니다. 다만 비용 관점에서 볼 점은 앱 단위 비용 귀속, 캐시 지표 제공 여부, 절감 추정의 근거 공개 여부, 비용 절감 후 품질 검증 수단이에요. Datadog은 앞의 세 가지와 Experiments로 마지막 검증까지 한 화면 흐름으로 묶었습니다.

마케팅 조직도 이걸 쓸 수 있나요?

마케팅 AI 자동화도 에이전트로 구성돼 있다면 앱 단위로 비용과 효율을 비교하는 관리가 가능해요. 커스텀 태그로 팀이나 기능별로 지출을 나눠 보면 어떤 자동화 건에 예산이 많이 드는지 가릴 수 있습니다. 구체적인 마케팅 연동 사례는 원문에 없으니, 우리 환경에 계측이 가능한지 먼저 확인하세요.