전이학습Transfer Learning
한마디로
이미 학습된 모델을 출발점 삼아 관련된 새 작업에 적용하는 방법이에요. 처음부터 다시 배우지 않아 데이터와 비용을 크게 아껴요
전이학습은 '한 분야에서 배운 능력을 다른 작업으로 옮겨 쓰는' 학습 전략이에요. 언어를 배운 모델에 의료 텍스트를 조금 더 가르쳐 의료 특화 모델을 만드는 식이죠. 사전학습→파인튜닝으로 이어지는 현대 AI의 기본 공식 자체가 전이학습의 응용이에요.
다만 공짜는 아니에요. 목표 작업에 맞는 도메인 데이터가 어느 정도는 필요하고, 원래 작업과 너무 다른 분야면 효과가 떨어져요. '우리 회사 데이터로 특화 모델을 만들자'는 논의가 나오면 그 바탕에 이 개념이 있다고 보면 돼요.
헷갈리는 용어 구분
태그
관련 용어
- 파인튜닝사전학습된 모델을 특정 도메인, 작업에 맞게 추가 학습으로 조정하는 거예요. '범용 모델을 우리 일에 맞춰 특화'하는 단계예요
- 사전학습대규모 데이터로 모델의 기본 능력을 만드는 1차 학습이에요. 모델의 '기초 교육' 단계라고 보면 돼요
- 디스틸레이션(증류)큰 모델(선생)의 출력을 작은 모델(학생)이 따라 배우게 해 능력을 옮기는 기술이에요. 구글은 Gemini 1.5 Flash를 1.5 Pro로부터 이렇게 학습시…
- LoRA(로라, 저랭크 적응)큰 AI 모델의 본체는 그대로 두고 옆에 작은 보조 가중치만 붙여 학습시키는 가벼운 미세조정 방법이에요. 적은 비용으로 우리 말투나 브랜드 이미지 스타일을 모델…
공유