Datadog 프롬프트 캐싱 모니터링이란, AI 에이전트 토큰 비용 줄이는 방법

AS-IS: 시스템 프롬프트가 비용과 지연의 병목

AI 에이전트는 호출할 때마다 내부 지침, 정책 정의, 툴 가이드 같은 시스템 프롬프트를 거의 그대로 반복해서 보냅니다. 이 내용이 동일하게 반복되는데도 매번 처음부터 전체를 재처리하면 토큰 비용과 응답 지연이 함께 늘어납니다. Datadog은 이런 반복 구간이 조직의 컨텍스트 엔지니어링 비용 대부분을 차지한다고 짚었습니다. 문제는 모델 제공사들이 캐싱 동작이나 설정 가능한 파라미터에 대한 가시성을 제한적으로만 제공한다는 점이에요. 그래서 프롬프트를 어떻게 구조화하고 캐시 파라미터를 어떻게 튜닝해야 실제로 캐싱이 작동하는지 팀이 정확히 파악하기 어려운 경우가 많습니다.

이번 내용: prompt caching 동작 방식과 요금 구조

LLM의 attention 메커니즘에서는 동일한 프롬프트 접두사가 항상 동일한 중간 상태를 만듭니다. prompt caching은 이 상태를 접두사를 처음 처리할 때 저장해두고, 이후 동일한 접두사로 시작하는 호출에서 재사용하는 방식이에요. 그러면 모델은 전체 입력을 처음부터 다시 처리하지 않고 새로 추가된 토큰에 대해서만 attention을 계산합니다.

Anthropic은 모든 모델에서 두 가지 캐싱 방식을 지원해요. 자동 캐싱은 요청 최상단에 cache_control 필드 하나만 추가하면 대화가 길어질수록 브레이크포인트가 자동으로 앞으로 이동합니다. 더 세밀하게 제어하려면 명시적 브레이크포인트로 최대 4개의 개별 콘텐츠 블록에 cache_control 필드를 직접 배치할 수 있는데, 이때 순서는 tools, system, messages로 고정됩니다. OpenAI는 1,024토큰 이상 프롬프트에서 코드 수정 없이 자동으로 캐싱이 적용되고요, 동일한 접두사를 최근에 처리한 서버로 요청이 라우팅돼서 일치하는 부분은 캐시 읽기로 처리, 과금됩니다. GPT-5.6 이상 모델에서는 개별 콘텐츠 블록에 명시적 캐시 브레이크포인트(prompt_cache_breakpoint)도 지원합니다.

요금 측면에서 캐시 쓰기는 캐시 없는 입력보다 비쌉니다. Anthropic은 5분 기준 캐시 쓰기에 기본 입력 요율의 1.25배, 1시간 기준 쓰기에는 2배를 부과하고, 캐시 읽기에는 0.1배를 부과해요. 즉 캐시된 접두사를 재사용하면 약 90% 저렴해지는 대신 최초 5분 쓰기에는 25%의 프리미엄이 붙습니다. 5분 이내에 캐시 적중이 한 번만 일어나도 이 프리미엄은 상쇄되지만, 요청마다 달라지는 시스템 프롬프트나 컨텍스트 초반의 타임스탬프처럼 자주 바뀌는 접두사는 캐시 쓰기를 반복시켜 총비용을 오히려 늘릴 수 있습니다.

실무 적용 포인트: 캐시 브레이크포인트 설계와 모니터링

캐싱은 정확히 일치하는 접두사에서만 작동하기 때문에, 에이전트 시스템에서 보통 캐싱되는 건 시스템 지침, 툴과 함수 정의, 안전, 정책 가드레일, 공유 참조 자료 같은 안정적인 프롬프트 상단부입니다. 반면 최신 사용자 메시지나 툴 결과 같은 동적인 하단부는 매 호출마다 새로 처리돼요. 에이전트가 스캐폴딩을 많이 쓸수록 프롬프트가 상단부 위주로 무거워지고, 그만큼 캐싱으로 절감할 수 있는 입력 토큰도 늘어납니다.

캐시 경계 안의 내용은 작은 변경 하나로도 전체가 무효화될 수 있어서, 캐시 경계 안에서 시스템 프롬프트를 추가하거나 바꾸지 않도록 주의해야 합니다. 멀티턴 에이전트 루프에서는 전체 대화 이력이 매 턴마다 다시 전송되기 때문에, 현재 대화 이력 끝에 두 번째 캐시 브레이크포인트를 두면 매번 최신 턴만 새로 처리하면 됩니다. Anthropic의 Claude Code 팀은 이 패턴을 중심으로 전체 하네스를 구성하고, 캐시 적중률이 떨어지는 걸 사소한 비효율이 아니라 인시던트로 취급해 운영 알림을 건다고 공개적으로 밝힌 바 있습니다.

체크리스트로 정리하면 다음과 같습니다.

• 캐시 브레이크포인트는 안정적인 공유 컨텍스트를 포함하고, 최신 사용자 메시지나 툴 출력 같은 동적 입력은 제외한다
• 컨텍스트 압축(요약), 메모리 업데이트처럼 이전 턴을 다시 쓰는 작업은 그 시점 이후의 캐시를 모두 무효화시킨다는 트레이드오프를 인지한다
• 툴 배열의 순서가 정렬 안정성이 없거나 관련성 기반 재정렬, 조건부 기능 플래그 삽입 때문에 요청마다 바뀌지 않는지 점검한다
• 툴 설명 안에 현재 시각이나 요청 ID처럼 매 요청마다 달라지는 값을 박아넣지 않는다
• 원시 토큰량이 아니라 캐시 적중률을 모니터링한다

Datadog은 스테이징 환경에서 API 응답의 usage 필드를 점검해 캐싱 설정을 검증하라고 권합니다. Anthropic은 cache_creation_input_tokens와 cache_read_input_tokens를, OpenAI는 cached_tokens와(신형 모델에서는) cache_write_tokens를 응답에 리포트하는데, 이 값으로 후속 호출이 실제로 캐시를 읽고 있는지 확인할 수 있어요. Datadog의 Agent Observability 트레이싱과 이 지표를 연동하면 캐시 적중률과 캐시 쓰기를 모델별로 분해해서 볼 수 있고, 각 LLM 호출 단위와 전체 에이전트 트레이스 단위 모두에서 지연시간, 비용(토큰 사용량)과 함께 확인할 수 있습니다. 연속된 트레이스를 비교하면 캐시 쓰기가 과도하게 발생하거나 적중률이 낮은 원인을 진단할 수 있고요.

자주 묻는 질문

ai agent 란 무엇인가요

ai agent는 시스템 지침과 툴 정의, 정책 가드레일 같은 컨텍스트를 바탕으로 반복 작업(메트릭 조회, 문서 검색, 알림 발송 등)을 자율적으로 수행하는 소프트웨어를 말합니다. 이번 글의 예시처럼 SRE가 인시던트 조사를 위해 메트릭을 조회하고 런북을 검색하고 온콜 담당자에게 페이지를 보내는 에이전트가 대표적입니다.

prompt caching은 어떻게 토큰 비용을 줄이나요

동일한 프롬프트 접두사를 처음 처리할 때 상태를 저장해두고 이후 호출에서 재사용해서, 모델이 새 토큰에 대해서만 계산하도록 하는 방식입니다. Anthropic 기준 캐시 읽기는 기본 요율의 0.1배라서 캐시 없는 입력 대비 약 90% 저렴합니다.

Anthropic과 OpenAI의 캐싱 방식 차이는 무엇인가요

Anthropic은 자동 캐싱과 최대 4개 블록에 명시적 브레이크포인트를 두는 방식을 모두 지원하고, cache_control 필드로 제어합니다. OpenAI는 1,024토큰 이상 프롬프트에서 코드 수정 없이 자동으로 캐싱되고, GPT-5.6 이상에서는 prompt_cache_breakpoint로 명시적 제어도 가능합니다.

캐시 적중률을 어떻게 모니터링하나요

API 응답의 usage 필드(Anthropic의 cache_creation_input_tokens, cache_read_input_tokens, OpenAI의 cached_tokens, cache_write_tokens)를 확인하면 됩니다. Datadog Agent Observability는 이 지표를 트레이싱과 연동해 모델별 캐시 적중률과 캐시 쓰기, 지연시간, 토큰 사용량을 한 대시보드에서 보여줍니다.