오픈 웨이트 LLM 셀프 호스팅 vs API 가격: 2026년 손익분기점 분석

가격이 두 개가 아니라, 비용의 형태가 두 개다

거의 모든 셀프 호스팅 분석이 저지르는 실수는 GPU 임대 요금과 API 토큰 요금을 마치 같은 종류의 숫자인 것처럼 비교하는 것이다. 둘은 전혀 다르다. API 청구서는 순수한 변동 비용이다. 토큰당 비용을 내고, 놀고 있을 때는 한 푼도 내지 않으며, 청구서의 금액은 사용량을 거의 완벽하게 따라간다. 셀프 호스팅은 정반대다. 대부분이 고정 비용이다. GPU를 시간 단위나 월 단위로 임대하면, 모델이 만 건의 요청을 처리하든 밤새 부하 없이 놀고 있든 미터기는 계속 돌아간다.

이 차이가 질문 자체를 완전히 바꿔놓는다. API라면 "토큰당 비용이 얼마인가?"라고 묻고, 답은 가격 페이지에 나와 있다. 셀프 호스팅에서 토큰당 비용은 가져다 쓸 수 있는 입력값이 아니라 가동률에 따라 결정되는 결과값이다. 풀 부하에서는 저렴해 보이던 그 H100이 가동률 8%에서는 처참해 보이는데, 대부분의 팀은 자기가 어느 쪽에 해당하는지를 첫 청구서를 받고 나서야 알게 된다.

그래서 진짜 비교 대상은 정액 월 약정과 사용량 비례 비용이다. 셀프 호스팅이 이기려면, 고정 자산을 충분히 바쁘게 돌려서 분할 상환한 토큰당 비용이 다른 경우에 냈을 변동 요금 아래로 내려가야 한다. 이 가이드의 나머지는 그 교차점을 정직하게 찾는 방법에 관한 것이다. GPU 견적서에는 절대 나오지 않는 비용까지 포함해서 말이다.

GPU 견적서에 나오지 않는 비용들

업체가 GPU 견적을 줄 때 받는 건 숫자 하나다. 시간당 달러. 그런데 운영 환경에서 오픈 웨이트 모델을 돌리는 데 드는 진짜 비용은 그 위에 쌓이는 여러 항목의 더미이고, 이것들을 무시하는 순간 손익분기점 계산은 허구가 된다.

모델을 직접 서빙하기로 마음먹는 순간 실제로 돈과 엔지니어링 시간을 잡아먹는 것들을 하나씩 짚어보자:

• 쓰지도 않는 GPU 시간. 피크에 맞춰 용량을 잡아두고 24시간 내내 비용을 내지만, 트래픽은 들쭉날쭉하다. 밤, 주말, 그리고 버스트 사이의 긴 공백 시간이 가장 바쁜 순간과 똑같은 요율로 청구된다.
• 여유분 확보를 위한 과잉 프로비저닝. 피크에 요청을 떨구지 않으려면 예비 GPU를 따뜻하게 켜둬야 한다. 그 여유분은 계속 비용을 지불하지만 좀처럼 다 쓰는 일이 없는 순수한 보험이다.
• 처리량 튜닝. 달러당 괜찮은 초당 토큰 수를 뽑아내려면 실제 노동이 필요하다. 배칭, KV 캐시 설정, 양자화 선택, 텐서/파이프라인 병렬화, 서빙 엔진 선정 및 최신 유지까지. 체크박스 하나가 아니라 전문가의 시간이 든다.
• 오토스케일링 콜드 스타트. 비용을 아끼려고 0까지 스케일 다운하면 트래픽이 돌아올 때 모델 로딩에 수 분이 걸린다. 큰 모델의 가중치를 받아 디바이스에 올리는 데 오래 걸릴 수 있기 때문이다. 결국 지연 시간을 감수하거나, 아예 스케일 다운을 하지 않게 되는데 후자는 절감 효과를 지워버린다.
• 온콜과 운영. 호스팅형 API에는 SLA가 있고, 내 것이 아닌 호출기가 있다. 셀프 호스팅이라면 가동률, 드라이버 및 CUDA 업그레이드, 노드 장애, 새벽 3시 장애 대응을 모두 우리 팀이 책임진다.
• 모델 업그레이드와 평가 재실행. 모델을 교체하거나 파인튜닝할 때마다 평가 스위트를 다시 돌리고, 서빙을 다시 튜닝하고, 프롬프트를 재검증해야 한다. 호스팅 제공업체는 이 업그레이드 쳇바퀴를 대신 떠안아 주지만, 셀프 호스팅에서는 직접 떠안는다.
• 스토리지, 이그레스, 네트워킹. 가중치, 체크포인트, 로그, 그리고 존 간 트래픽은 개별로는 작아도 합치면 무시할 수 없다.

결국 가동률이 전부다

모든 것을 결정하는 계산은 이거 하나이고, 한 줄에 들어간다. 진짜 비용은 GPU 요율이 아니라 다음과 같다: 유효 토큰당 비용 = 월간 인프라 + 운영 총지출 / 그 달에 실제로 서빙한 토큰 수.

구체적인 사례로 돌려보자. 고급 추론용 GPU 한 대를 시간당 대략 $2.50에 임대한다고 하자. 24시간 내내 잡아두면 약 730시간, 하드웨어만 따져도 월 $1,825에 가깝다. 이 GPU가 완전히 포화 상태일 때 초당 수천 개의 출력 토큰을 서빙할 수 있다고 치자. 넉넉하게 잡아 지속 3,000 tok/s라고 하자. 한 달 내내 100% 가동하면 약 78억 개의 출력 토큰이고, 유효 비용은 출력 토큰 100만 개당 약 $0.23에 안착한다. 환상적으로 보인다.

이제 현실을 적용해 보자. GPU 한 대를 24시간 내내 100% 포화로 돌리는 운영 워크로드는 거의 없다. 그러려면 하루 24시간, 매 초마다 배치 큐가 완벽하게 가득 차 있어야 한다. 유효 가동률 10%(업무 시간에는 바쁘고 그 외에는 한산한, 들쭉날쭉한 인터랙티브 제품)에서는 같은 $1,825로 약 7억 8천만 토큰을 서빙했고, 유효 비용은 100만 출력 토큰당 약 $2.34다. 박스가 얼마나 바빴는지 말고는 아무것도 바꾸지 않았는데 10배가 뛴 것이다. 신생 기능에서 흔한 가동률 3%에서는 100만 개당 $7.80에 육박하는데, 이건 운영 비용을 단 한 푼도 더하지 않았고 입력 토큰 처리도 전혀 계산하지 않은 수치다.

교훈은 단도직입적이다. 셀프 호스팅 GPU는 시간에 대해 청구하지만, 가치는 토큰을 서빙할 때만 생긴다. 이 둘 사이의 간극이 곧 유효 비용이며, 대부분의 팀이 실제로 돌리는 가동률 수준에서 그 간극은 엄청나게 크다.

실제로 상대해야 할 숫자

사람들이 "API는 비싸다"고 떠올릴 때 머릿속에 그리는 건 보통 프런티어 가격이다. Claude Opus 4.7나 GPT-5.5의 100만 토큰당 $5/$25, $5/$30 같은 것 말이다. 하지만 프런티어 모델을 대체하려고 셀프 호스팅을 하지는 않는다. 셀프 호스팅한다면 중간 규모의 오픈 웨이트 모델일 것이다. 공정한 비교는 같은 성능 등급에 있는 모델의 호스팅 요율과 따지는 것이고, 2026년에 그 요율은 폭락했다.

저가 및 호스팅형 오픈 웨이트 등급이 100만 토큰당 실제로 얼마인지 보자(입력 / 출력):

• DeepSeek V4 Flash — 0.14 / 0.28. 출력이 100만 토큰당 28센트.
• Gemini 2.5 Flash-Lite — 0.10 / 0.40. 입력이 100만 토큰당 10센트.
• GPT-5.4 nano — 0.20 / 1.25.
• Mistral Large 3 — 0.50 / 1.50, 그리고 Grok 4.1 Fast — 0.20 / 0.50.

왜 이 저가 등급들이 논쟁을 끝내는가

이 요율들을 위의 계산 사례와 비교해 보자. 가동률 10%의 셀프 호스팅 GPU는 100만 출력 토큰당 약 $2.34가 들었고, 입력 처리와 운영 비용은 아직 계산에 넣지도 않았다. DeepSeek V4 Flash는 똑같은 출력에 $0.28을 청구하는데, 완전 관리형에 유휴 과금도, 온콜도, 업그레이드 쳇바퀴도 없다. GPU를 빌려 파트타임으로 돌려서는 이 가격을 이길 수 없다. 비등한 수준에 도달하는 것만으로도 거의 풀가동으로 항상 돌려야 하고, 그러고 나서도 운영 비용이 나머지를 잡아먹지 않게 막아야 한다.

이것이 대부분의 셀프 호스팅 사업성을 뒤집는 단 하나의 사실이다. 경쟁 상대는 $25짜리 출력 토큰이 아니다. 누군가가 대신 온라인 상태로 유지해 주는 28센트짜리 출력 토큰이다. 성능 면에서 이 저가 등급들은 프런티어 모델이 아니므로 동등하다고 가정하지 말고, 전환하기 전에 자기 데이터로 직접 평가를 돌려봐야 한다. 다만 가격만 놓고 보자면, 하드웨어에 투자하기 전에 마이그레이션 시뮬레이터에서 이 등급들과 자기 숫자를 비교해 보라.

셀프 호스팅이 정말로 이기는 경우

셀프 호스팅은 실수가 아니다. 좁지만 분명한 적용 지점이 있는 도구다. 셀프 호스팅이 이기는 이유가 비용인 경우는 드물고, 대개는 API가 어떤 가격으로도 충족할 수 없는 제약 조건이 이유다. 솔직한 사례들은 이렇다:

• 엄격한 데이터 거주성과 컴플라이언스. 계약상 또는 규제상 데이터를 제3자 엔드포인트로 보내는 것이 금지된 경우(특정 의료, 국방, 주권 데이터 상황), "API가 더 싸다"는 말은 의미가 없다. 가중치를 우리 경계 안에 둬야 한다.
• 매우 높고 꾸준한 볼륨. GPU를 정말로 24시간 내내 포화에 가깝게 돌린다면(고처리량 배치 파이프라인, 대규모 분류, 임베딩이나 문서 처리 같은 대량 작업), 가동률이 충분히 높아서 고정 비용이 호스팅 요율 아래로 분할 상환된다.
• 직접 통제해야 하는 커스텀 파인튜닝. 독점 데이터로 무겁게 파인튜닝한 모델이고 가중치, 서빙 스택, 업그레이드 시점을 완전히 통제해야 한다면, 처음부터 끝까지 소유할 가치가 있을 수 있다.
• 지연 시간과 네트워크 격리. 빡빡한 테일 레이턴시 예산, 에어갭 환경, 또는 네트워크 왕복을 없애기 위한 데이터와의 동일 위치 배치는, 공개 엔드포인트로는 요구사항을 맞출 수 없는 로컬 추론을 정당화할 수 있다.

직접 채워볼 손익분기점 워크시트

반복해서 쓸 수 있는 절차가 있다. 발주서를 쓰기 전에 스프레드시트로 먼저 해보라.

1단계 — 월간 토큰을 추정한다. 입력과 출력을 분리하라. API 쪽에서 출력은 입력의 대략 5~6배가 들고 청구서를 지배하기 때문이다. 실제 한 주 동안 대표적인 워크로드를 세어 외삽하라. 추측하지 말고 실제 프롬프트와 응답에 토큰 카운터를 써라.

2단계 — 동등한 API 청구서를 산정한다. 작업에 맞는 가장 저렴한 비교 가능 호스팅 모델(가장 화려한 게 아니라)을 고르고, 토큰 볼륨에 입력 및 출력 요율을 곱하라. 작업이 지연을 감내한다면 배치 등급을 적용해 50%를 깎고, 큰 프롬프트 접두부를 재사용한다면 프롬프트 캐싱을 반영하라. 둘 다 API 숫자를 끌어내리고 셀프 호스팅이 넘어야 할 기준선을 높인다. 3단계 — 완전 적재 셀프 호스팅 비용을 계산한다. 실제 예상 가동률에서의 월간 GPU 지출에, 서빙·온콜·업그레이드·평가 재실행에 들어가는 엔지니어 시간의 일부를 더한다. 단일 노드 구성이라면 엔지니어 4분의 1 인분이라는 보수적인 적재만으로도 GPU 청구서 자체를 넘을 수 있다. 4단계 — 비교하고 교차점을 찾는다. 계산 사례:

• 워크로드: 월 입력 3억 + 출력 1억 토큰.
• API 쪽 (DeepSeek V4 Flash, 0.14 / 0.28): 300 x 0.14 + 100 x 0.28 = $42 + $28 = 완전 관리형으로 월 $70.
• 셀프 호스팅 쪽: GPU 한 대에 월 약 $1,825, 거기에 현실적으로 수천 달러의 적재 운영 비용. 단일 노드가 피크를 감당할 수 있는지 확인하기도 전에 올인 금액은 월 $3,000~5,000에 이른다.
• 이 볼륨에서의 결론: API가 대략 두 자릿수 배수만큼 더 싸다. 비빌 수준이 아니다.

솔직한 결론

대다수의 팀에게 호스팅형 API가 총소유비용에서 이기며, 그것도 아슬아슬한 차이가 아니다. 전용 GPU를 24시간 내내 정말로 바쁘게 유지할 수 있는 볼륨 아래에서는, 저가 호스팅 등급(1달러 미만의 출력 가격, 유휴 과금 제로, 남의 호출기)이 파트타임 GPU를 중요한 모든 축에서 이긴다. 비용, 안정성, 그리고 서빙 스택이 아니라 제품에 쓸 수 있는 엔지니어링 시간까지.

셀프 호스팅을 다시 검토할 가치가 생기는 건 두 조건이 동시에 성립할 때다. 가동률이 높고, 볼륨이 꾸준할 때. 둘 중 하나만 있으면 함정이다. 들쭉날쭉한 GPU에서의 높은 볼륨은 여전히 유휴 시간으로 돈이 새고, 꾸준하지만 낮은 볼륨은 고정 비용을 절대 분할 상환하지 못한다. 하드웨어를 지속적으로 포화에 가깝게 유지하는 워크로드와, 더불어 가격 비교만으로는 나오지 않는 이유(컴플라이언스, 통제, 또는 지연 시간)가 필요하다.

실전 조언: 매번 API로 시작하라. 비용 모니터링으로 실제 토큰 볼륨을 계측하고, 워크로드별 가장 저렴한 모델 선택지에서 배치, 캐싱, 적정 크기 모델로 청구서를 먼저 끌어내린 다음, 그 최적화된 API 청구서가 충분히 크고 가동률 시나리오가 현실적일 때에만 셀프 호스팅을 검토하라. 대부분의 팀은 API를 제대로 쥐어짜고 나면 GPU의 수지가 끝내 맞지 않는다는 걸 알게 되고, 수지가 맞는 팀은 박스를 풀가동으로 돌리고 있기 때문에 이미 그 사실을 알고 있다.

자주 묻는 질문

관련 글