테스트 타임 컴퓨트Test-Time Compute

OpenAI가 2024년 9월 o1 모델로 이 접근을 대중화했고, 이후 추론 모델 경쟁의 핵심 축이 됐습니다. 모델 크기를 키우는 파라미터 스케일링 대신, 답을 생성하는 순간의 계산 예산을 늘리는 쪽으로 무게중심이 옮겨간 거예요.

여러 후보 답을 생성해 비교하거나, 내부적으로 단계를 더 밟아보고 검증하는 식으로 '생각하는 시간'을 늘립니다. 같은 모델이라도 테스트 타임 컴퓨트를 더 쓰면 더 어려운 문제를 풀어낼 수 있어요.

응답 속도, 비용과 정확도 사이의 트레이드오프를 다루는 새 변수가 생긴 셈입니다. 최근 모델에 '추론 모드'를 켜고 끄는 옵션이 늘어난 이유이기도 합니다.