컨텍스트 윈도우Context Window

컨텍스트 윈도우는 모델의 '작업 책상 크기'예요. 모델은 컨텍스트 안에 들어온 내용을 한 번에 참조해요. 한도를 넘으면 요청이 거절될 수 있고, 서비스에 따라 이전 내용을 요약하거나 일부 대화를 제외해 이어가기도 해요.

예전엔 수천 토큰이었지만 지금은 수십만-백만 토큰까지 늘었어요. 그만큼 긴 문서, 코드, 대화를 통째로 넣을 수 있죠. 다만 넣는 만큼 비용이 늘고, 너무 길면 중간 내용을 놓치는 경향도 있어서 '필요한 것만 잘 추려 넣는' 게 실무 기술이에요.