토큰Token

AI, LLM에서 - 텍스트 처리의 최소 단위

토큰은 모델이 글자를 쪼개서 다루는 조각이에요. 영어 'unbelievable'은 'un/believ/able'처럼 여러 토큰으로, 한글은 보통 글자당 1-2토큰이에요. 비용과 한계가 토큰으로 매겨져요. API 요금은 입력, 출력 토큰 수로 계산되고, 모델이 한 번에 다룰 수 있는 양(컨텍스트 윈도우)도 토큰 단위죠. 긴 문서를 넣으면 토큰이 늘어 비용이 커지니, 실무에선 '토큰 예산'을 의식하는 게 중요해요.

데이터 프라이버시, 결제에서 - 원본을 가린 대체값

카드번호, 이메일 같은 민감정보를 무의미한 대체값으로 바꾸는 걸 토큰화(tokenization)라고 해요. 결제의 카드 토큰, 데이터 클린룸, 매칭에서 개인정보 대신 쓰는 토큰 ID가 대표적이죠. 쿠키리스, ID 솔루션 기사에서 만나는 '토큰'은 대부분 이쪽 의미예요.