프롬프트 캐싱Prompt Caching

LLM API는 호출할 때마다 프롬프트 전체를 다시 읽고 계산합니다. 그런데 시스템 프롬프트, 도구 정의, 참고 문서처럼 호출마다 똑같이 들어가는 앞부분이 대부분이라, 이 부분의 계산 결과를 서버에 잠시 보관했다가 재사용하는 것이 프롬프트 캐싱이에요. 모델 안쪽에서는 KV 캐시를 재사용하는 원리이고, 마케터와 개발자에게는 요금표의 '캐시된 입력' 항목으로 보입니다.

요금 구조는 벤더마다 조금 다릅니다. Anthropic은 캐시에 쓰는 첫 호출에 기본 입력 단가의 1.25배를 받고, 이후 캐시를 읽는 호출은 0.1배(최신 모델은 0.025배에서 0.05배)만 받아요. 기본 보관 시간은 5분이고 1시간짜리는 쓰기 비용이 2배입니다. OpenAI도 기본으로 켜져 있고, GPT-5.6 이후 모델은 최소 1,024토큰부터 캐시 쓰기 1.25배, 읽기 0.1배(일부 모델 0.05배)로 계산하며 마지막 사용 후 30분 이상 유지돼요. 그 이전 모델은 쓰기 추가 요금 없이 5분에서 10분 정도만 유지됩니다. 두 회사 모두 문서에 명시한 최소 길이(Anthropic은 모델별 512에서 4,096토큰) 미만은 캐시되지 않습니다.

실무에서 중요한 건 프롬프트 순서예요. 캐시는 앞에서부터 일치하는 구간만 재사용하므로, 바뀌지 않는 지시와 문서를 앞에 두고 사용자 질문처럼 매번 달라지는 내용을 뒤에 둬야 적중률이 올라갑니다. 에이전트가 수십 번 도구를 호출하는 작업에서는 입력 토큰의 대부분이 캐시 읽기로 잡히기 때문에, 캐시 적중률이 곧 운영비 지표가 돼요. Datadog 같은 관측 도구가 2026년 9월 프롬프트 캐싱 적중률 모니터링을 추가한 것도 그래서입니다.