컨텍스트 로트Context Rot

Chroma의 기술 리포트(2025-07)가 체계화했어요 - GPT-4.1, Claude 4, Gemini 2.5 등 18개 모델 실측으로, 모델이 컨텍스트를 균일하게 쓰지 않고 입력이 길어질수록 신뢰도가 떨어짐을 보였죠. 10,000번째 토큰도 100번째처럼 처리될 거라는 통념을 뒤집은 것.

후속 분석들에선 100만 토큰급 모델도 대략 30만-40만 토큰대부터 뚜렷한 저하가 있다고 지적됐어요. arXiv 후속 연구와 엔터프라이즈 AI 블로그들이 표준 용어처럼 채택하며 정착했고, '프롬프트가 아니라 컨텍스트를 설계하라'는 컨텍스트 엔지니어링 담론의 핵심 실증 근거가 됐습니다.

실무 시사점: 긴 창은 스펙이지 품질 보증이 아니에요 - 요약, 구조화, 필요분만 주입하는 컨텍스트 다이어트가 성능 관리의 기본기가 됩니다.