FP8·INT4 양자화 해부: 정확도와 처리량의 경계선

FP8과 INT4 중 어느 쪽이 처리량을 더 높이는가?

정해진 답은 없다. 공개된 실측 하나(H100 4장, vLLM 0.6.4.post1, Llama-3.1-70B-Instruct)에서는 FP8이 INT4보다 높은 QPS를 냈지만, 이는 특정 엔진·특정 양자화 구현 조건에서의 결과이고 일반 법칙으로 확장할 근거는 아니다. 처리량을 가르는 더 큰 변수는 오히려 KV 캐시 용량과 프리픽스 재사용률 쪽에서 나온다.

핵심 정리

• 동일 모델·동일 엔진 조건 실측(H100×4, vLLM 0.6.4.post1)에서 BF16 3.5 QPS, FP8 6.9 QPS, INT4 5.9 QPS가 보고됐다.출처
• 가중치 양자화와 KV 캐시 양자화는 별개 변수이며, 둘을 섞어 보고하면 비교가 무의미해진다.
• 긴 입력·짧은 출력 workload에서는 prefix-aware routing이 양자화 포맷보다 SLO 충족 QPS를 더 크게 흔들었다(4 replica 조건 약 50%↑).출처
• "INT4가 항상 빠르다"·"FP8은 손실 없다" 같은 일반화는 2025~2026년 공개 자료로는 검증되지 않는다.
• 재현 가능한 비교에는 양자화 방식·group size·calibration·엔진 버전·KV 캐시 정밀도를 함께 기록해야 한다.

이번 분석에서 뜯는 범위는 H100/H200급 GPU에서 vLLM·TensorRT-LLM이 FP8·INT4 가중치를 서빙할 때의 처리량·정확도 트레이드오프, 그리고 이를 바꿔버리는 KV 캐시·프리픽스 라우팅 계층까지다. 커스텀 커널 수준의 미세 최적화나 학습 단계 양자화는 다루지 않는다.

FP8은 왜 H100 서버 추론의 기본 포맷이 됐나?

FP8이 기본값으로 자리 잡은 이유는 Tensor Core 경로를 그대로 활용하면서 FP16 대비 메모리·연산 이득을 챙길 수 있기 때문이다. 다만 "약 2배"라는 수치는 제조사·블로그성 서술에 가깝고, 동일 모델·동일 배치·동일 엔진으로 검증된 1차 자료는 충분치 않다.출처

더 중요한 함정은 "FP8"이라는 이름 하나로 묶이지 않는다는 점이다. TensorRT-LLM과 vLLM 모두 FP8을 지원하지만 per-tensor, block-wise, row-wise 등 스케일링 방식이 다르고, 이 차이가 실제 처리량과 정확도에 영향을 준다.출처 즉 "FP8 지원 여부"만으로 두 엔진을 비교하는 것은 스펙상 비교이지 실측 비교가 아니다. 벤치마크를 읽을 때는 어떤 스케일링 방식을 썼는지부터 확인해야 한다.

INT4는 어떤 구간에서 이득을 노리는 포맷인가?

INT4의 주된 가치는 가중치 메모리 절감이다. 대형 모델을 더 적은 GPU로 구동하거나, decode 구간처럼 메모리 대역폭이 병목인 지점에서 이득을 기대하는 포맷이다. 그러나 "INT4"라는 라벨 안에도 GPTQ, AWQ, W4A16 등 구현별 편차가 크다.

TensorRT-LLM은 FP8·NVFP4·W4A8/W4A16 AWQ·GPTQ 등 NVIDIA GPU에 특화된 경로를 제공하지만 일반적인 plain INT4는 지원 목록에 없는 것으로 정리된다. 반면 vLLM은 FP8과 함께 INT4 계열 다수를 지원한다.출처 따라서 vLLM의 AWQ와 TensorRT-LLM의 W4A16을 똑같이 "INT4"로 묶어 처리량을 비교하면 서로 다른 커널·정밀도 경로를 비교하는 셈이 된다. 정확도 측면에서도 INT4는 긴 문맥, 코드 생성, 수학 추론처럼 특정 채널과 activation 표현에 민감한 작업에서 손실 폭이 커질 수 있어, 양자화 방식과 calibration 데이터셋을 명시하지 않은 "INT4 정확도 저하" 주장은 그대로 받아들이기 어렵다.

KV 캐시 정밀도는 왜 가중치 양자화와 따로 봐야 하나?

가중치를 FP8로 낮춰도 KV 캐시가 FP16/BF16으로 남아 있으면, 긴 컨텍스트와 높은 동시성 조건에서 KV 메모리가 먼저 한계에 부딪힌다. 반대로 KV 캐시를 낮은 정밀도로 저장하면 메모리 압박이 줄어 동시 요청 수를 늘릴 수 있지만, attention 정확도와 긴 문맥 품질을 별도로 검증해야 한다.

TensorRT-LLM은 FP8 및 NVFP4 KV 캐시를, vLLM도 양자화 KV 캐시를 지원하는 것으로 정리돼 있지만, 동일 조건에서 FP8-KV 대 FP16-KV를 비교한 실측 수치는 공개 자료에서 확인되지 않는다.출처 실무에서는 가중치 포맷 하나만 바꾸고 KV 캐시 정밀도를 고정한 채 QPS가 오르지 않는 경우가 흔한데, 이는 포맷 선택이 잘못된 게 아니라 KV 캐시 쪽이 먼저 병목이 됐을 가능성을 봐야 한다는 신호다.

프리픽스 캐싱·라우팅이 양자화보다 처리량을 더 흔드는가?

긴 입력·짧은 출력 workload에서는 그렇다고 볼 수 있는 사례가 있다. llm-d의 실험은 H100 8장 노드 2개, TP2, 2~4 replica, 입력 8,000~20,000토큰·출력 100토큰, 일부 시나리오 P95 TTFT 2초 SLO 조건에서 Llama 4 Scout FP8과 Llama 3.1 70B FP16에 prefix-aware routing을 적용했다.출처

Llama 4 Scout FP8, 20,000 입력·100 출력, 2 replica 조건에서는 4 QPS에서 평균 TTFT가 baseline 대비 약 3배 낮았고, 12,000 입력·100 출력, 4 replica 조건에서는 SLO를 지키면서 baseline보다 약 50% 높은 QPS를 기록했다. Llama 3.1 70B FP16, 8,000 입력·100 출력, 4 replica 조건에서는 SLO 내 처리량이 baseline의 2배였다.출처 이 결과가 보여주는 건 양자화 포맷 자체보다, 같은 prefix를 가진 요청을 해당 KV 캐시를 보유한 replica로 보내는 라우팅 정책이 긴 입력 workload에서 더 큰 영향을 줄 수 있다는 점이다. 다만 이는 llm-d 측 실험이며 독립 기관의 동일 조건 재현은 확인되지 않았다.

더 미세한 단위에서는 캐시 알고리즘 자체도 영향을 준다. NeurIPS 2025 Learned Prefix Caching 논문은 입력 1,000토큰·새 prompt 50토큰의 prefill-only 환경에서 LRU 대비 prefix hit ratio를 35%에서 42%로 올렸고, 처리량은 10.01 req/s에서 11.11 req/s(11.10% 증가)로 보고했다.출처 같은 논문은 에뮬레이션된 분산 serving 환경에서 최대 11%의 prefill 처리량 향상과 일부 요청 first-token latency 42~75% 감소를 보고했지만, 이는 decode 토큰/초가 아닌 prefill 재사용률 지표이므로 짧은 prompt·긴 generation workload로 바로 환산해서는 안 된다. 더 큰 폭의 캐시 재사용 효과도 보고된다. IC-Cache 논문은 실제 요청 수백만 건 평가에서 처리량 1.4~5.9배 향상, 지연시간 28~71% 감소를 보고했는데, 이는 특정 캐시 정책·요청 분포에 대한 결과이지 FP8 대 INT4 포맷 비교 수치는 아니다.출처

실측 수치는 어떤 조건에서 나온 것인가?

아래는 공개된 1차 실측 조건과 수치를 정리한 것이다. 조건이 다르면 수치도 다르게 나올 수 있으므로 조건을 함께 읽어야 한다.

출처: gpusmith.com, 출처: d.run

무엇을 얻고 무엇을 잃는가?

FP8을 쓰면 FP16 대비 연산·메모리 효율을 높이면서 정확도 손실을 비교적 작게 유지할 수 있다는 것이 일반적인 설명이지만, 정확도 손실이 '없다'는 주장은 검증되지 않는다. INT4를 쓰면 가중치 메모리를 더 크게 줄여 동시성이나 모델 크기 면에서 여유를 얻지만, 그 대가로 GPTQ/AWQ/W4A16 등 구현 방식에 따라 정확도 저하 폭이 달라지고, 특히 긴 문맥·코드·수학 추론 workload에서 손실이 두드러질 수 있다. 즉 FP8은 '안전한 기본값', INT4는 '메모리 제약이 클 때의 교환 수단'이라는 구도가 현재 자료가 뒷받침하는 범위다. 포맷을 낮출수록 처리량이 오른다는 보장은 없으며, 위 표의 INT4(5.9 QPS)가 FP8(6.9 QPS)보다 낮았던 사례가 이를 보여준다.

언제 어느 포맷을 써야 하나?

H100/H200 중심 프로덕션에서는 FP8을 기준선으로 먼저 잡고, 모델 품질·TTFT·TPOT·QPS를 측정하는 편이 합리적이다. INT4는 정확도 손실을 감수하고도 메모리 용량이나 동시성을 확보해야 하는 상황, 예를 들어 더 적은 GPU 수로 같은 모델을 서빙해야 할 때 비교 대상으로 올려야 한다. 이때는 반드시 AWQ/GPTQ 여부, group size, activation 처리 방식, CUDA 커널까지 함께 기록해야 비교가 성립한다. 긴 입력·짧은 출력 서비스라면 FP8 대 INT4의 차이를 따지기 전에 KV 캐시 용량, prefix hit rate, prefix-aware routing, prefill/decode 분리 여부를 먼저 점검하는 쪽이 처리량 개선 폭이 클 가능성이 높다. 반대로 출력이 길고 prefix 재사용이 거의 없는 workload라면 라우팅 최적화의 이득은 제한적이고, 가중치·KV 캐시 양자화가 더 직접적인 변수가 된다.

핵심 정리

• 동일 조건 실측(H100×4, vLLM 0.6.4.post1)에서 FP8이 INT4보다 QPS가 높았으나 이는 한 조건의 결과일 뿐 일반 법칙은 아니다.
• "INT4"·"FP8"이라는 이름 하나로 묶이지 않는다. 스케일링 방식(FP8)과 GPTQ/AWQ/W4A16(INT4) 구현 차이를 반드시 명시해야 비교가 성립한다.
• 가중치 양자화와 KV 캐시 양자화는 별개 변수이며, 긴 컨텍스트·고동시성에서는 KV 캐시가 먼저 병목이 될 수 있다.
• 프리픽스-aware 라우팅은 긴 입력 workload에서 SLO 내 QPS를 baseline 대비 최대 50%, 처리량을 2배까지 끌어올린 사례가 보고됐다(2026년 기준 llm-d 실험).
• 재현 가능한 벤치마크에는 모델·checkpoint, 양자화 방식, calibration 데이터, 엔진·버전, GPU 수·TP, 입출력 길이, QPS, TTFT·TPOT, 정확도 평가셋, KV 캐시 정밀도를 함께 기록해야 한다.

자주 묻는 질문

FP8과 INT4를 같은 모델에 동시에 적용할 수 있나?

가중치는 FP8로, KV 캐시는 다른 정밀도로 구성하는 식의 조합은 엔진 지원 범위 안에서 가능하다. 다만 이 글의 재료만으로는 가중치-KV 캐시 조합별 정확도·처리량을 교차 검증한 1차 벤치마크가 충분치 않아, 적용 전 자체 측정이 필요하다.

양자화 포맷을 바꿨는데 QPS가 거의 오르지 않으면 무엇을 먼저 봐야 하나?

KV 캐시 정밀도와 용량을 먼저 확인하는 것이 순서다. 가중치만 낮추고 KV 캐시를 FP16/BF16으로 유지하면 긴 컨텍스트·고동시성 조건에서 KV 메모리가 먼저 한계에 도달해 가중치 양자화의 이득이 가려질 수 있다.

vLLM과 TensorRT-LLM 중 어느 엔진이 FP8·INT4 비교에 더 유리한가?

엔진 선택보다 지원 범위 차이를 먼저 봐야 한다. TensorRT-LLM은 FP8·NVFP4·W4A8/W4A16 AWQ·GPTQ 경로를 제공하지만 plain INT4는 지원 목록에 없고, vLLM은 FP8과 함께 INT4 계열을 폭넓게 지원한다. 두 엔진을 "같은 INT4"로 전제하고 비교하면 오류가 생긴다.

프리픽스 캐싱 효과는 어떤 workload에서 기대하기 어려운가?

출력이 길고 요청 간 공유되는 prefix가 거의 없는 workload에서는 효과가 제한적이다. 공개된 실측 사례들은 입력이 길고(8,000~20,000토큰) 출력이 짧은(100토큰) 조건에 집중돼 있어, 반대 조건에서는 별도 측정 없이 같은 폭의 개선을 가정해서는 안 된다.

더 알아보기

LLM 추론 서빙: 처리량과 지연의 트레이드오프를 보는 법 — 이 주제의 종합 가이드