디스틸레이션(증류)Distillation

디스틸레이션은 '큰 선생(teacher) 모델이 작은 학생(student) 모델을 가르치는' 방식이에요. 거대 모델의 출력과 판단을 작은 모델이 모방하도록 학습시켜, 비슷한 능력을 훨씬 가볍고 싸게 구현하죠. 정답 하나만 베끼는 게 아니라 선생 모델이 각 선택지에 매긴 확률 분포까지 따라 배우기 때문에, 작은 모델을 처음부터 학습시키는 것보다 성능이 잘 나옵니다.

경량 모델이 빠르고 저렴하면서도 쓸 만한 이유가 여기 있어요. 모든 작업에 최상위 모델을 쓸 필요 없이, 분류나 요약 같은 가벼운 작업은 증류된 경량 모델로 처리해 비용을 크게 줄일 수 있습니다.

실무에서는 두 가지를 봅니다. 하나는 우리 작업에서 경량 모델의 품질이 어디까지 허용되는지 평가 세트로 먼저 재는 것이고, 다른 하나는 라이선스예요. 다른 회사 모델의 출력으로 자기 모델을 증류하는 행위를 약관으로 금지하는 제공사가 많아, 상용 서비스라면 학습 데이터 출처를 반드시 확인해야 합니다.