Datadog, AI 사용 최적화로 월 100만 달러 이상 절감한 방법

Datadog는 Anthropic, Cursor, OpenAI 등 여러 AI 벤더의 비용을 Cloud Cost Management의 AI Costs 기능으로 추적하고, Claude Code 요청을 AI 게이트웨이로 태깅해 팀과 제품별 지출을 파악했어요. 자체 개발한 에이전트 평가 플랫폼으로 140개 이상의 평가를 돌린 결과, 기본 모델을 Claude Opus 4.8에서 Sonnet 4.6으로 바꾸면 성능은 8% 낮아지지만 비용은 36.7% 줄어든다는 걸 확인했고, 실제로 지난 한 달간 68만 7천 달러 이상을 절감했습니다. Claude Code CLI의 기본 effort level을 high에서 medium으로 낮춰 월 28만 8천 달러를 추가로 아꼈고, 비용 초과 사용자에게 자동으로 절감 가이드를 안내하는 Datadog Workflow Automation 기반 알림 시스템으로도 첫 주에만 768명의 사용자가 반응해 전후 비교 15만 달러 이상을 줄였습니다. 또한 오픈소스 도구 Headroom을 도입해 에이전트가 처리하는 컨텍스트를 불필요한 부분 없이 최적화한 결과, 자체 평가에서는 47% 비용 절감, 1000명 넘는 엔지니어 대상 파일럿 테스트에서는 사용자당 비용이 기존 대비 27% 낮아졌다고 밝혔어요.

AI 도구 도입 비용이 커지는 마케팅 조직이라면 모델 선택, effort level 조정, 컨텍스트 최적화 같은 세부 튜닝만으로도 실무 성능 저하 없이 상당한 비용 절감이 가능하다는 걸 보여줍니다