TechCrunch AI
Nvidia 연구, AI 성능 좌우하는 건 모델 아닌 하니스라 밝혀
한마디로
AI 에이전트 성능을 결정하는 건 모델 자체가 아니라 메모리 관리와 감독 기능을 갖춘 소프트웨어 껍데기, 즉 하니스라는 게 실험으로 확인됐어요
무슨 내용인가
Nvidia가 발표한 연구에 따르면 Claude Opus 5가 맨몸 상태로 ARC-AGI-3 벤치마크를 풀었을 때 점수는 30%에 그쳤는데요, Nvidia가 자체 개발한 하니스인 Agentic Variation Operators(AVO)를 씌우자 100% 점수를 기록했다고 합니다. 하니스는 AI 모델을 감싸는 소프트웨어 도구, 메모리 관리, 규칙 체계를 뜻하는데, 여기에 '슈퍼바이저' 역할을 하는 감독 컴포넌트를 추가한 게 핵심이었어요. OpenAI도 지난달 자체 연구에서 하니스 설정 두 가지만 바꿔 점수를 세 배로 끌어올렸지만 100%에는 도달하지 못했고, Databricks 역시 지난 7월 같은 모델이라도 하니스에 따라 비용이 두 배까지 차이 난다는 연구를 내놓은 바 있습니다. Nvidia는 이 결과를 통해 폐쇄형보다 개방형 하니스 생태계가 사용자에게 더 많은 통제권을 준다는 점을 강조하고 있어요.
에디터 노트 | FactStack
30%에서 100%로 뛴 건 모델 업그레이드가 아니라 감독 컴포넌트 하나 추가한 결과라는 점이 핵심입니다. 그동안 AX 도입 논의가 '어떤 모델을 쓸지'에 예산과 시간을 쏟았다면 이제는 메모리 관리, 재시도 규칙, 슈퍼바이저 로직 같은 하니스 설계로 우선순위를 옮겨야 할 시점이에요. 다만 Nvidia가 자체 하니스 AVO로 100%를 냈다는 결과를 그대로 믿기보다는, 벤치마크에 최적화된 하니스일 가능성과 오픈 생태계를 강조해야 하는 이해관계도 함께 감안해서 읽을 필요가 있습니다.
실무 시사점
에이전트형 AI 도입을 검토하는 마케팅, 데이터 조직이라면 모델 선택보다 메모리 관리와 감독 구조를 갖춘 하니스 설계에 투자하는 게 성능과 비용 모두에서 더 중요할 수 있음을 시사합니다
태그
용어 풀이
- Nvidia
- GPU와 AI 인프라를 만드는 반도체 기업
- AI Agent
- 스스로 계획을 세우고 여러 단계를 거쳐 작업을 수행하는 AI 시스템
- harness
- AI 모델을 감싸서 도구 사용, 메모리 관리, 감독 기능을 부여하는 소프트웨어 틀
- ARC-AGI-3
- 설명서 없이 스스로 규칙을 파악해 플레이해야 하는 2D 게임 기반 AI 추론 평가 시험
공유