⚡ Claude API 레이턴시 벤치마크

같은 모델이라도 어디로 호출하느냐에 따라 속도가 다르다. 한국(내 PC)에서 Anthropic 직통 vs AWS Bedrock(미국·도쿄)으로 Haiku·Sonnet·Opus를 매시간 호출해 스트리밍 첫 토큰까지 시간(TTFT)과 생성속도를 측정했습니다.

2026-07-06 17:35 ~ 2026-07-07 09:19 · 누적 432샘플 (매시간 워밍업 1 + 샘플 3) · 값은 시간대별 중앙값

📋 전체 기간 요약 (중앙값)

모델Anthropic직통Bedrock-미국Bedrock-도쿄
Haiku 4.50.67s109 tok/s · n=541.55s120 tok/s · n=540.94s122 tok/s · n=54
Sonnet 4.60.99s51 tok/s · n=541.56s58 tok/s · n=540.99s57 tok/s · n=54
Opus 4.61.81s50 tok/s · n=542.15s54 tok/s · n=54—

각 칸 = TTFT 중앙값 (초록 = 그 모델의 최속 엔드포인트) · 뒤 숫자 = 생성속도 중앙값과 샘플수

Haiku 4.5 — 시간대별 TTFT (첫 토큰까지)

Anthropic직통Bedrock-미국Bedrock-도쿄0.00s0.46s0.92s1.38s1.84s17시18시19시20시21시22시23시01시02시03시04시05시06시07시08시09시

Sonnet 4.6 — 시간대별 TTFT (첫 토큰까지)

Anthropic직통Bedrock-미국Bedrock-도쿄0.00s0.50s1.00s1.50s2.00s17시18시19시20시21시22시23시01시02시03시04시05시06시07시08시09시

Opus 4.6 — 시간대별 TTFT (첫 토큰까지)

Anthropic직통Bedrock-미국0.00s0.74s1.49s2.23s2.97s17시18시19시20시21시22시23시01시02시03시04시05시06시07시08시09시

각 차트의 📋 캡처 버튼을 누르면 축·범례가 포함된 이미지가 클립보드에 복사됩니다. 마우스를 올리면 시간대별 정확한 값이 보이고, 드래그하면 구간을 확대할 수 있어요.