AI 에이전트 신뢰성, Pass^k로 재현성 격차 진단하기

AppWorld 벤치마크에서 GPT-4.1 기반 ReAct 에이전트는 평균 성공률(Mean@5)이 77.4%였지만, 같은 작업을 5번 반복했을 때 매번 성공한 비율(Pass^5)은 53.0%에 그쳤어요. 이 둘의 차이인 24.4포인트를 '일관성 격차'라고 부르는데요, 연구팀은 Consistency Analyzer라는 진단 도구로 에이전트가 판단을 뒤집기 쉬운 결정 지점을 찾아내고, 이를 바탕으로 consistency guideline을 생성해 에이전트에 주입했습니다. 그 결과 일관성 격차가 24.4포인트에서 12.0포인트로 절반가량 줄었고, Pass^5는 53.0%에서 69.0%로, Mean@5도 77.4%에서 81.0%로 함께 올랐어요. 비슷한 다른 작업에도 적용했을 때 Pass^5가 13.0포인트 개선되고, 더 약한 모델인 gpt-oss-120b에서도 같은 작업 기준 6.0포인트, 유사 작업 기준 8.7포인트 개선이 나타나서 가이드라인이 특정 트레이스를 암기한 게 아니라 재사용 가능한 실패 패턴을 포착했다는 걸 시사합니다.

AI 에이전트를 실무에 도입할 때는 평균 정확도(Mean@k)만 볼 게 아니라 Pass^k 같은 재현성 지표를 함께 확인해야 하고, 특히 금융 거래 대사나 계약서 검토처럼 실패가 치명적인 업무일수록 이 격차를 미리 점검할 필요가 있음을 보여줍니다