추론(실행)Inference
한마디로
AI에서는 학습이 끝난 모델을 실제로 돌려 답을 뽑는 실행 단계를, 데이터 분석에서는 표본으로 전체를 판단하는 통계적 추론을 뜻해요
한국어로는 둘 다 '추론'이라 더 헷갈려요. 모델 실행 얘기인지 통계 얘기인지 맥락으로 구분하세요.
AI 모델에서 - 학습의 반대, 실행 단계
인퍼런스는 '완성된 모델을 사용하는' 단계예요. ChatGPT에 질문해서 답을 받는 것, 그게 추론이에요. 모델을 학습(training)하는 건 한 번 크게 하는 일이고, 추론은 매 요청마다 일어나죠. 실무 비용의 대부분이 사실 이 추론에서 나와요 - 사용량(토큰)이 쌓일수록 늘기 때문에, 모델 선택, 캐싱, 라우팅으로 관리하는 게 중요해요.
데이터 분석에서 - 표본으로 전체를 판단하는 통계적 추론
A/B 테스트 결과가 '우연인지 진짜 차이인지'를 가리는 가설검정, 표본으로 모집단을 추정하는 신뢰구간이 통계적 추론(statistical inference)이에요. 마케팅 데이터 분석 문서, 논문의 inference는 대개 이쪽 의미죠.
태그
관련 용어
- 사전학습대규모 데이터로 모델의 기본 능력을 만드는 1차 학습이에요. 모델의 '기초 교육' 단계라고 보면 돼요
- 토큰AI에서는 모델이 텍스트를 처리하는 최소 단위(비용, 길이 산정 기준)이고, 데이터, 결제 쪽에서는 민감정보를 가린 대체값(토큰화)을 뜻해요
- A/B 테스트두 버전(A, B)을 다른 사용자에게 보여주고 어느 쪽이 더 나은 결과를 내는지 비교하는 실험이에요. 마케팅 의사결정을 '감'이 아닌 데이터로 하게 해줘요
- 양자화(모델 양자화)AI 모델 안의 숫자를 더 적은 비트로 저장해 모델 크기와 메모리 사용량을 줄이는 기술이에요. 16비트를 4비트로 바꾸면 가중치 메모리가 대략 4분의 1로 줄어…
공유