AI 토큰 카운터

토큰이란?

토큰은 LLM이 읽고 쓰는 가장 작은 단위입니다. 모델은 단어를 직접 보지 않습니다 — 학습 시 고정된 어휘에서 만들어진 토큰 ID를 봅니다. 영어 산문 기준으로 토큰 1개는 약 3~4 문자, 단어로는 약 0.75개에 해당합니다. 구두점, 공백, 코드, 숫자, 희귀 단어, 비영어 단어는 더 많은 토큰을 소비하는 경향이 있습니다.

모든 주요 LLM API의 가격은 토큰 단위로 책정됩니다 — 보통 입력 100만 토큰당, 출력 100만 토큰당 별도로 청구됩니다. 일반 요청이 몇 개의 토큰을 사용하는지 모르면 청구 규모를 자릿수 단위로도 추정할 수 없고, LLM을 감싼 제품의 마진을 계획할 수도 없습니다.

GPT-4o와 Claude의 토큰 수가 다른 이유

각 모델군은 자체 토크나이저(텍스트 → 토큰 ID 매핑)를 사용합니다. OpenAI는 GPT-4/3.5의 cl100k_base에서 GPT-4o와 o1 계열의 o200k_base로 옮겼습니다. Anthropic은 Claude 3/3.5용 자체 토크나이저를 사용하며 OpenAI 인코딩과는 다릅니다. Google Gemini는 또 다른 토크나이저를 씁니다.

영어 텍스트에서 같은 입력일 때 Claude는 GPT-4o 대비 10~20% 정도 적은 토큰을 카운트하는 경향이 있습니다. 코드, 반복 식별자가 많은 소스 파일, 비라틴 문자(한국어/일본어/중국어/아랍어)에서는 격차가 더 커지거나 역전될 수 있습니다. 실제 청구액을 알려면 청구되는 바로 그 토크나이저로 세는 것이 유일한 방법입니다.

이 카운터 사용법

실제로 보낼 텍스트의 대표 샘플을 붙여넣으세요 — 시스템 프롬프트, 사용자 메시지, 컨텍스트 블록, 또는 전체 대화. 출시할 모델을 선택하세요. 비용 패널은 해당 모델의 입력 토큰 단가를 사용합니다. 전체 요청 비용을 추정하려면 출력 토큰 추정치 × 출력 단가를 따로 더하세요.

이 페이지의 Anthropic 추정은 문자수를 3.5로 나눈 근사값입니다. Anthropic은 Claude 3.x용 브라우저 토크나이저를 공개하지 않습니다. 정확한 청구액이 필요하면 서버에서 Anthropic의 count_tokens 엔드포인트를 호출하세요 — 다만 사이징 목적이라면 영어 산문 기준으로 실제와 약 10% 이내 오차입니다.

자주 묻는 질문