RAG 스타트업이 GPT-5.5에 연 $360k. 갈아탈까, 유지할까?

이 판단의 근거

먼저 월 $30,000가 실제로 어디로 흘러가는지부터 짚어야 합니다. 이후의 모든 선택이 여기서 설명되기 때문입니다. GPT-5.5는 100만 토큰당 입력 $5.00 / 출력 $30.00이므로, 요청 하나당 입력 3,000 토큰에 $0.015, 출력 500 토큰에 또 $0.015가 청구됩니다 — 정확히 50/50으로 나뉩니다. 이 대칭이 핵심 단서입니다. 여기서는 토큰당 출력 비용이 입력의 6배이므로, 출력 500 토큰이 입력 3,000 토큰과 정확히 같은 무게를 갖습니다. 즉 서로 독립적인 두 개의 레버가 작동하고 있다는 뜻입니다. 입력 쪽 절반은 대부분 고정된 RAG 스캐폴드 — 시스템 프롬프트와 검색된 패시지 — 로, 요청마다 반복되며, 이는 캐싱이 가장 잘 들어맞는 교과서적 사례입니다. 출력 쪽 절반은 순수한 모델 요율이라, 더 저렴한 모델로 바꿔야만 움직입니다. 두 절반 중 한쪽만 건드리는 어떤 계획이든 매달 약 $15,000를 그대로 흘려보내게 됩니다.

캐싱은 먼저 입력 쪽 절반을 공략하며, 켜는 데 비용이 들지 않습니다. 입력 3,000 토큰 중 1,500개가 캐시 가능하며, GPT-5.5의 캐시 읽기는 $5.00 대신 $0.50/M로 청구됩니다 — 해당 구간에 대해 10배 할인입니다. 이것만으로도 비용이 월 $23,250($279,000/년)로 떨어지며, 모델 변경도 SDK 변경도 평가(eval)도 없이 $81,000을 절감합니다. OpenAI는 캐시 쓰기 비용을 부과하지 않으므로 넘어야 할 손익분기 물량이 없다는 점에 주목하세요. 동일한 프리픽스를 재사용하는 요청이 100만 건이면, 첫날부터 사실상 모든 호출에 할인이 적용됩니다. 모델에 대해 어떤 결정을 내리든 이것은 무조건 하시고, 재사용률이 절감액에 어떻게 매핑되는지는 프롬프트 캐싱 ROI 가이드를 참고하세요.

모델 교체는 비싼 출력 쪽 절반을 공략합니다. GPT-5.4는 같은 모델 패밀리로 $2.50/$15.00 — 입력과 출력 모두 정확히 GPT-5.5 요율의 절반이며, 캐시 읽기는 $0.25/M입니다. 여기에 캐싱을 쌓으면 요청당 비용의 모든 구성요소가 캐시 적용된 5.5 수치 대비 절반으로 떨어져, 월 $11,625($139,500/년)에 안착합니다. 바로 이것이 연 $220,500, 61%라는 헤드라인이며, 이를 권장하는 이유는 가장 저렴한 행이어서가 아니라 마이그레이션 리스크가 거의 없는 가장 저렴한 행이기 때문입니다. 엔드포인트, 인증, 요청 형태, SDK가 모두 동일하며, 바뀌는 것은 모델 문자열뿐입니다. 대략 엔지니어 1인일 정도로 잡으시면 되는데, 그 대부분은 코드를 작성하는 것이 아니라 평가를 다시 돌리는 일입니다 — 동일 패밀리 내 이동이 프로바이더 간 이동보다 왜 그토록 가벼운지를 참고하세요.

겉보기에 진짜로 더 저렴해 보이는 두 대안에는 가격표가 가리는 비용이 각각 따라붙습니다. Claude Sonnet 4.6 + 캐싱은 월 $12,450로, 여기서는 GPT-5.4보다 월 약 $825 더 비쌉니다. 출력 요율은 동일($15.00/M)하므로 차이는 전부 입력 쪽에서 발생합니다. Sonnet의 표준 입력 $3.00/M가 GPT-5.4의 $2.50/M보다 높아 캐시 불가능한 1,500 토큰에서 월 약 $750, 그리고 Sonnet의 캐시 읽기 요율이 오히려 약간 더 높아($0.30 대 $0.25/M) 캐시되는 절반에서 월 약 $75가 더해집니다(일회성 캐시 쓰기는 100만 번 재사용에 분산되면 무시할 수준입니다). 즉 프로바이더 전환은 프롬프트 재작성, SDK 교체, 툴 스키마 변환의 비용을 치르고도 더 높은 청구서에 도달합니다. 이는 비용 때문이 아니라 Sonnet의 100만 토큰 컨텍스트나 그 역량 프로파일이 특별히 필요할 때만 합리적입니다. GPT-5.4 mini는 월 $3,487로 진짜 이상치입니다 — 88% 절감 — 게다가 SDK도 그대로 유지됩니다. 다만 이는 RAG 답변 합성을 맡기기에는 더 작은 모델이며, 바로 그 작업이야말로 더 약한 모델이 충실도(faithfulness)와 인용 정확도를 슬그머니 떨어뜨리는 지점입니다. 이것은 비용 결정이 아니라 품질에 거는 베팅입니다.

여기서 솔직한 단서가 나옵니다. 이 수치들 중 어느 것도 품질 수치가 아닙니다. 이는 당신이 명시한 워크로드에 대한 정가 산술일 뿐이며, GPT-5.4가 — mini는 말할 것도 없고 — 당신의 검색 분포에서 사용자 질문에 GPT-5.5만큼 잘 답하는지에 대해서는 아무것도 말해주지 않습니다. 전환 전에, 당신의 실제 프로덕션 프롬프트 200~500개를 캐싱을 켠 GPT-5.4로 돌려서 당신이 정말로 신경 쓰는 방식대로 채점하고(검색된 컨텍스트에 대한 충실도, 거부율, 형식 준수), mini도 병렬로 동일하게 돌려서 88%가 답변 품질로는 얼마의 대가를 치르는지 파악하세요. max_output_tokens도 주시하세요 — mini는 32,768에서 한계에 달해 GPT-5.5의 65,536보다 낮습니다. 방어 가능한 순서는 이렇습니다. 오늘 5.5에 캐싱을 켜서 리스크 제로로 $81,000을 확보하고, 이번 주에 5.4를 그것과 비교 검증하며, mini는 당연시할 것이 아니라 입증해서 얻어내야 할 별도의 실험으로 다루는 것입니다. 이 모든 것을 당신의 정확한 수치로 마이그레이션 ROI 시뮬레이터에서 다시 돌려볼 수 있습니다.