양자화(모델 양자화)Quantization

모델의 지식은 수십억 개의 가중치 숫자에 담겨 있고, 보통 16비트 형식(BF16, FP16)으로 저장됩니다. 양자화는 이 숫자를 8비트나 4비트 정수처럼 더 거친 눈금으로 바꿔 담는 기술이에요. 사진의 픽셀 수는 그대로 두고 색 단계만 줄여 용량을 줄이는 것과 비슷해서, 크기는 크게 줄지만 많이 줄일수록 세밀한 정보가 깎입니다. 700억 파라미터 모델이라면 16비트에서 가중치만 단순 계산으로 약 140GB인데, 4비트로 바꾸면 약 35GB가 돼요. 4비트 실제 파일은 보정값이 붙어 이보다 조금 더 큽니다.

방식은 크게 둘로 나뉘어요. 학습이 끝난 모델을 추가 학습 없이 보정 계산만으로 변환하는 학습 후 양자화(PTQ)와, 학습 과정에 양자화 오차를 미리 흉내 내 넣어 변환 뒤 품질 손실을 줄이는 양자화 인식 학습(QAT)입니다. 학습 후 양자화의 대표 연구인 GPTQ는 2022년 10월 1,750억 파라미터 모델을 GPU 약 4시간 분량의 계산으로 3, 4비트까지 줄였다고 보고했어요. 양자화 인식 학습 사례로는 구글이 2025년 4월 공개한 Gemma 3 QAT 모델이 있습니다. 학습을 마친 모델에 약 5,000단계의 QAT를 추가로 적용한 것으로, 270억 파라미터(27B) 모델의 가중치가 54GB(BF16)에서 14.1GB(int4)로 줄어 RTX 3090 같은 소비자용 GPU에서 돌릴 수 있게 됐다고 밝혔어요. 이 수치는 가중치만 계산한 것이라 대화 길이에 따라 KV 캐시 메모리가 더 필요합니다.

실무에서는 '얼마나 줄였나'보다 '우리 작업에서 품질이 얼마나 떨어지나'를 먼저 재야 해요. 같은 4비트라도 방식에 따라 품질 차이가 나고, 작업 종류에 따라 손실 정도도 다릅니다. 사내 데이터를 밖으로 보내지 않고 자체 서버나 기기에서 공개 모델을 돌리려 할 때 비용을 가르는 핵심 기술이에요.

참고: Frantar 외, GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers(2022), Google Developers Blog, Gemma 3 QAT Models(2025)