프롬프트 캐싱 ROI: Anthropic 90% 할인이 실제로 이익을 내는 시점

프롬프트 캐싱이란 정확히 무엇인가

LLM API에 요청을 보낼 때마다 공급자는 입력의 모든 토큰에 대해 키-값(KV) 어텐션 매트릭스를 계산합니다. 이 계산은 프롬프트 처리에서 가장 비싼 부분이며, 입력의 80%가 이전 요청과 동일해도 매번 처음부터 다시 수행됩니다. 프롬프트 캐싱은 입력의 일부에 대해 계산된 KV 매트릭스를 저장하고, 동일한 prefix를 공유하는 이후 요청에서 재사용하는 메커니즘입니다. 비싼 계산이 이미 끝났기에 캐시 적중 토큰에 대해 인하된 단가를 청구합니다.

경제 효과는 압도적입니다. Anthropic은 Claude Sonnet 4.6 표준 입력 $3.00/1M, 캐시 쓰기 $3.75/1M(쓰기에 25% 프리미엄), 캐시 읽기 $0.30/1M — 표준 단가의 10%. OpenAI는 GPT-5.4 표준 입력 $2.50/1M, 캐시 적중 토큰 $1.25/1M — 50% 인하, 요청 형식 변경 없이 자동 적용. Google Gemini의 컨텍스트 캐싱은 시간당 토큰 저장 수수료 + 인하된 읽기 단가로 작동해 경제성 계산이 더 복잡합니다.

핵심 통찰: 프롬프트 캐싱은 고정 비용(쓰기)을 가변 횟수의 읽기에 분산하는 구조입니다. 캐시 엔트리를 한 번 쓰고 1,000번 읽으면 쓰기 비용은 읽기당 무시할 수 있게 됩니다. 한 번 쓰고 캐시 만료 전에 2번만 읽으면 경제성이 나쁠 수 있습니다. 캐싱이 이익이 되는 시점은 단순히 토큰당 단가가 아닌, 실제 요청 패턴을 모델링해야 알 수 있습니다.

Anthropic 상세: cache_control로 명시적 캐싱

Anthropic 프롬프트 캐싱은 명시적입니다 — 캐싱하고 싶은 프롬프트 부분에 cache_control 매개변수를 추가해야 합니다. Messages API에서는 캐싱할 prefix 끝에 해당하는 콘텐츠 블록에 "cache_control": {"type": "ephemeral"}를 추가합니다. 캐시 키는 요청 시작부터 브레이크포인트까지의 정확한 토큰 시퀀스입니다.

Ephemeral 캐시는 마지막 적중 시점부터 5분 수명입니다. 시스템이 같은 prefix를 공유하는 요청을 5분에 한 번 이상 보내면 캐시는 지속 활성. 대부분 적당한 트래픽을 가진 프로덕션 시스템에서는 쉽게 충족됩니다. 확장 캐시(Claude Sonnet 4.6 이상)는 1시간 수명으로, 저트래픽 애플리케이션이나 배치 워크로드(장시간에 걸쳐 요청 분산)에 유용합니다.

캐시 쓰기는 $3.75/1M — 표준 $3.00/1M 대비 25% 프리미엄. 이 프리미엄은 KV 매트릭스를 저장/서빙하는 인프라 비용입니다. 한 번 쓰면 캐시 읽기는 $0.30/1M. 손익분기 계산은 단순합니다: 쓰기 추가 비용 $0.75/1M, 캐시 읽기 1회당 절감 $2.70/1M. 회수에 필요한 추가 읽기 수 = $0.75 ÷ $2.70 ≈ 0.28회. 즉 캐시 쓰기 후 같은 prefix를 한 번 더 사용하면 캐싱이 표준보다 저렴해집니다 — 손익분기는 사실상 두 번째 요청입니다.

최소 캐싱 가능 prefix는 1,024 토큰. 더 짧은 prefix는 조용히 표준 입력 가격으로 대체됩니다 — API는 오류를 반환하지 않고 cache_control이 무시될 뿐. 시스템 프롬프트나 컨텍스트가 자격을 갖출 만큼 충분히 긴지 항상 검증하고, 응답 사용량 메타데이터의 cache_creation_input_tokens, cache_read_input_tokens 필드로 캐시 적중을 확인하세요.

OpenAI GPT-5.4의 암묵적 캐싱

OpenAI 접근은 개발자 경험 측면에서 Anthropic과 정반대입니다 — 캐싱이 자동이며 요청 형식 변경이 필요 없습니다. OpenAI 인프라는 1,024 토큰 이상의 반복 prefix를 감지하고 자동으로 캐시 단가를 적용합니다. 캐시 적중 토큰은 API 응답의 usage 객체의 cached_tokens로 나타나며 $1.25/1M(표준 $2.50/1M의 50%)로 청구됩니다.

암묵적 접근은 쓰기 쉽지만 투명성이 떨어집니다. 캐시 쓰기를 강제하거나 요청 전에 캐시 상태를 검증할 수 없습니다. GPT-5.4의 캐시 수명은 공식 문서화되지 않았으며 — OpenAI는 "서버 부하와 트래픽 패턴에 따라 몇 분에서 몇 시간"으로 설명합니다. 이 예측 불가능성은 OpenAI 캐싱을 비용 계획 가정으로 덜 신뢰성 있게 만듭니다 — 프롬프트가 자주 반복되는 업무 시간에는 적중하고, 비번 시간에는 누락될 수 있습니다. 정밀한 비용 모델링에는 OpenAI 캐시 적중을 보장된 할인이 아닌 확률적 할인으로 다루세요.

OpenAI는 별도 캐시 쓰기 비용을 청구하지 않아 경제성이 단순합니다: 모든 캐시 적중은 순수 절감이며 연관 비용이 없습니다. 캐시 적중 토큰 50% 인하는 직관적이지만, 절대 금액 절감은 Anthropic의 90%(캐시 읽기 기준) 인하보다 작아, 큰 토큰 볼륨에서 의미 있게 차이가 납니다.

워크 예제: 5만 토큰 시스템 프롬프트를 일 100회 재사용

지식베이스 RAG 시스템: 50,000 토큰 시스템 프롬프트(회사 문서 + 가이드라인) + 평균 500 토큰 사용자 쿼리 + 1,000 토큰 출력. 일일 100 사용자 요청, 즉 월 약 3,000 요청. Claude Sonnet 4.6 기준 비용:

• 캐싱 없음: 입력 (50,000+500) × $3/1M × 3,000 = $454.50/월. 출력 1,000 × $15/1M × 3,000 = $45/월. 총 $499.50/월.
• 캐싱 적용 (5분 ephemeral, 적중률 99% 가정): 캐시 쓰기 50,000 × $3.75/1M × 30회(일일 신규 쓰기) = $5.63/월. 캐시 읽기 50,000 × $0.30/1M × 2,970회 = $44.55/월. 비캐시 사용자 메시지 500 × $3/1M × 3,000 = $4.50/월. 출력 1,000 × $15/1M × 3,000 = $45/월. 총 $99.68/월 — 약 80% 절감, 월 $400 차이.

월 100,000 요청 규모에서 같은 패턴: 캐싱 없음 약 $16,650/월 → 캐싱 적용 약 $3,330/월 — 월 $13,320 절감, 연 $160,000 절감. 큰 시스템 프롬프트를 가진 RAG, 코드 어시스턴트, 분석 파이프라인에서 캐싱은 비용 구조의 가장 중요한 단일 결정입니다.

캐싱이 이익을 못 내는 경우

모든 워크로드가 캐싱으로 이익을 보는 것은 아닙니다. 다음 패턴에서는 캐시 쓰기 비용이 적중 절감을 초과할 수 있습니다:

• 매 요청마다 prefix가 달라짐: 사용자 ID, 세션 ID, 타임스탬프가 시스템 프롬프트 앞쪽에 포함되면 캐시가 절대 적중하지 않습니다. 변수는 prefix 끝쪽이나 사용자 메시지에 배치하세요.
• 저트래픽 + ephemeral 캐시: 5분 안에 같은 prefix가 재사용되지 않으면 매번 캐시 쓰기 비용만 발생. 시간당 10건 미만의 저트래픽 시스템은 1시간 확장 캐시로 전환하거나, 캐싱을 끄세요.
• 짧은 prefix: 1,024 토큰 미만 prefix는 캐싱 자격 없음. 강제로 패딩하면 의미 없는 토큰에 추가 비용.
• 매우 다양한 다중 사용자: 사용자별로 다른 컨텍스트(개인 문서 등)가 prefix를 채우면 캐시 적중률이 낮음. 공통 시스템 가이드라인만 캐시하고 사용자별 컨텍스트는 비캐시 부분으로 분리.

의심스러우면 손익분기 검증을 코드로 자동화하세요. 응답의 cache_creation_input_tokens / cache_read_input_tokens를 로깅하고, 주간 비율 (읽기 적중) / (쓰기)이 일정 임계값 미만이면 알림 발송 — 캐싱이 실제 이익을 내지 못한다는 신호.

캐시 + 배치 결합 — 최강 단가 조합

Anthropic의 가장 유리한 종합 단가는 캐싱 + 배치 결합입니다. Message Batches API에 제출하는 요청에도 cache_control을 사용할 수 있고, 캐시 토큰은 캐시 읽기 단가($0.30/1M)로, 비캐시 토큰은 배치 단가(표준의 50%)로 처리됩니다. 출력 토큰도 배치 할인 적용.

5만 토큰 시스템 프롬프트 + 1만 사용자 메시지(각 500 토큰) + 1만 출력(각 1,000 토큰)의 배치 작업:

• 표준 가격: 입력 (50,000+500) × $3 × 10,000 / 1M = $1,515. 출력 1,000 × $15 × 10,000 / 1M = $150. 총 $1,665.
• 캐시만: 캐시 쓰기 50,000 × $3.75 / 1M = $0.19 (1회). 캐시 읽기 50,000 × $0.30 × 10,000 / 1M = $150. 비캐시 사용자 메시지 500 × $3 × 10,000 / 1M = $15. 출력 1,000 × $15 × 10,000 / 1M = $150. 총 $315.19.
• 캐시 + 배치: 캐시 쓰기 50,000 × $3.75 × 0.5 / 1M = $0.094. 캐시 읽기 50,000 × $0.30 × 10,000 / 1M = $150 (캐시 읽기는 배치 할인 없음, 이미 매우 저렴). 비캐시 사용자 메시지 500 × $1.50 × 10,000 / 1M = $7.50. 출력 1,000 × $7.50 × 10,000 / 1M = $75. 총 $232.59 — 표준 대비 86% 절감.

저렴한 캐시 읽기 단가($0.30/1M)는 배치 할인이 거의 영향을 못 줄 정도로 이미 낮으므로 — 캐시 + 배치의 진짜 가치는 비캐시 사용자 메시지와 출력 토큰의 배치 할인입니다. 출력 단가가 입력의 5배이므로 배치의 출력 50% 할인이 가장 큰 절감을 가져옵니다.

자주 묻는 질문