Token Visualizer

In order to help you, due to the fact

무료 LLM 토큰 계산기입니다. GPT-4나 GPT-4o가 프롬프트를 어떻게 토큰으로 쪼개는지, 어느 줄이 가장 비싼지, 어떤 장황한 표현을 줄여야 하는지 보여 줍니다. 절약량은 추측이 아니라 줄인 텍스트를 같은 토크나이저에 다시 넣어 실측합니다.

Windows용 다운로드 (.exe) macOS와 Linux

무료, MIT 라이선스, 오프라인에서 작동합니다. 서명되지 않은 프로그램이라 Windows SmartScreen 경고가 뜨면 추가 정보를 누른 다음 실행을 누르세요.

5줄짜리 고객 지원 봇 프롬프트를 GPT-4o 토크나이저로 실제로 돌린 결과: 70토큰, 제안대로 줄이면 61토큰.

작동 방식

GPT-4o 토크나이저로 실제로 돌린 결과를 그린 도식. 1단계: 프롬프트 한 줄이 번호가 붙은 토큰 16개로 나뉜다. 2단계: 줄마다 12, 16, 17, 18, 7토큰으로 세어 합계 70토큰, 약 $0.0021. 3단계: 장황한 표현을 짧은 표현으로 바꾸고 다시 토큰화하면 70토큰이 61토큰이 되어 13% 짧아진다.

1. 나누기

모델 자체의 토크나이저(tiktoken)가 각 줄을 토큰으로 나눕니다. 토큰은 모델이 읽고 요금을 매기는 단위인, 번호가 붙은 조각입니다.

2. 세기

줄마다 토큰 수를 표시합니다. 25 미만은 초록, 25에서 50은 노랑, 50 초과는 빨강입니다. 프롬프트 전체의 합계와 대략적인 비용도 보여 줍니다.

3. 실측하기

장황한 표현을 짧은 표현으로 바꾸고 불필요한 공백을 줄인 뒤, 새 텍스트를 다시 토큰화해 실제 차이를 알려 줍니다.

예시

버전 0.3.1의 실제 출력입니다.

장황한 문장 하나

$ echo "In order to help you, due to the fact that you asked." | token-visualizer
  Total tokens: 14
  ...
  Applying the phrase and whitespace fixes: 14 → 8 tokens (-6, 43%)

정확한 토큰 경계

TOKEN BREAKDOWN:
  [0:In] [1: order] [2: to] [3: help] [4: you] [5:,] [6: due] [7: to] [8: the]
  [9: fact] [10: that] [11: you] [12: asked] [13:.\n]

대부분의 토큰은 단어 앞의 공백을 포함하므로 order와 order는 서로 다른 토큰입니다.

5줄짜리 고객 지원 프롬프트

$ token-visualizer examples/support-prompt.txt -m gpt-4o
  Verbose phrases found:
     'in order to' → 'to'
     'due to the fact that' → 'because'
     'in the event that' → 'if'
MEASURED SAVINGS
  Applying the phrase and whitespace fixes: 70 → 61 tokens (-9, 13%)

설치

플랫폼	방법
Windows	.exe 다운로드 후 더블클릭하고 프롬프트 붙여넣기
Windows (Scoop)	`scoop bucket add mattbusel https://gitlab.com/mattbusel/scoop-bucket; scoop install mattbusel/token-visualizer`
macOS, Linux (Homebrew)	`brew install mattbusel/tap/token-visualizer`
macOS, Linux (설치 스크립트)	`curl -fsSL https://gitlab.com/mattbusel/Token-Visualizer/-/raw/main/install.sh \| sh`
Python 3.8+가 설치된 모든 OS	`pipx install git+https://gitlab.com/mattbusel/Token-Visualizer`

3단계로 사용하기

위의 방법 중 하나로 설치합니다.
프롬프트에 실행합니다: token-visualizer prompt.txt -m gpt-4o 또는 .exe를 더블클릭하고 붙여넣습니다(마지막에 Ctrl+Z, 이어서 Enter).
표시된 부분을 줄이고 다시 실행해 새 토큰 수를 확인합니다.

Claude는 공개 토크나이저가 없어서 claude-3-sonnet은 공백 기준 분할로 대체하며, 그 사실을 알려 줍니다. Llama 같은 오픈 모델은 Hugging Face 모델 ID를 넘기면 됩니다(소스 설치와 transformers 필요). 전체 옵션: 레퍼런스.