ThinkingBox-Bench, AI 에이전트 '툴 호출 성공'과 '실제 완료'는 다르다는 사실 증명

ThinkingBox-Bench는 Microsoft와 Hugging Face가 함께 만든 벤치마크인데요, 507개의 상태 기반 업무 워크플로를 각각 20번씩 반복 실행해서 AI 에이전트가 실제로 데이터베이스 상태를 올바르게 바꿨는지 검사합니다. 12개 LLM 모델을 대상으로 한 공통 세트 분석에서 121,680건의 유효 시도 중 79,853건이 실행 체크를 통과하지 못했는데요, 이 실패 사례의 67.24%는 겉보기엔 오류 없이 깔끔하게 끝난 것처럼 보였습니다. 겉으로는 성공한 듯해도 실제로는 77.61%가 잘못된 필드 값을 남겼고, 43.30%는 의도치 않은 부가 효과를, 25.36%는 필요한 효과 누락을 일으킨 거예요. Claude Opus 5.5가 전체 1회 시도 점수(pass@1)에서 67.16%로 1위를 차지했지만, 20번 모두 성공하는 비율(pass@20)로 보면 결과가 크게 달라집니다.

고객 응대나 환불 처리 같은 실제 기록을 다루는 AI 에이전트를 도입할 때는 1회 성공률이 아니라 반복 실행 시 일관성과 건당 비용을 함께 따져봐야 한다는 점을 시사합니다