디스틸레이션(증류)Distillation

디스틸레이션은 '큰 선생(teacher) 모델이 작은 학생(student) 모델을 가르치는' 방식이에요. 거대 모델의 출력과 판단을 작은 모델이 따라 하도록 학습시켜, 비슷한 능력을 훨씬 가볍고 싸게 구현하죠. 개념은 2015년 제프리 힌턴(Geoffrey Hinton) 등이 정리한 '지식 증류' 논문에서 자리 잡았어요. 힌턴 방식은 정답 하나만 베끼지 않고 선생 모델이 각 선택지에 매긴 확률 분포(소프트 타깃)까지 따라 배워서, 작은 모델을 처음부터 학습시키는 것보다 성능이 잘 나와요. 요즘 LLM에서는 큰 모델이 만든 답변 데이터로 작은 모델을 추가 학습시키는 방식도 넓게 증류라고 부릅니다.

대형 모델 회사들이 경량 모델을 만드는 데 실제로 쓰고 있어요. 구글은 2024년 5월 Gemini 1.5 Flash를 공개하며 1.5 Pro로부터 증류로 학습시킨 모델이라고 밝혔고, 딥시크는 2025년 1월 추론 모델 R1이 만든 답변 데이터 약 80만 건으로 Qwen, Llama 기반의 더 작은 모델을 추가 학습시킨 'R1-Distill' 시리즈를 함께 내놨습니다. 분류나 요약 같은 가벼운 작업을 이런 경량 모델로 돌리면 비용을 크게 줄일 수 있어요.

실무에서는 두 가지를 봅니다. 하나는 우리 작업에서 경량 모델의 품질이 어디까지 허용되는지 평가 세트로 먼저 재는 것이고, 다른 하나는 라이선스예요. 다른 회사 모델의 출력으로 경쟁 모델을 학습시키는 것을 약관으로 금지하는 제공사가 많아, 상용 서비스라면 학습 데이터 출처를 반드시 확인해야 합니다.

참고: Hinton, Vinyals, Dean, Distilling the Knowledge in a Neural Network(2015), Google, Gemini 1.5 Flash 발표(2024), DeepSeek-R1 저장소