HuggingFace

ACE 대신 ALTK-Evolve, 토큰 훨씬 적게 쓰는 에이전트 메모리 기법

연구소/벤더2026년 8월 12일원본 2026년 8월 11일

한마디로

AI 에이전트가 과거 실패에서 배운 교훈을 통째로 프롬프트에 넣지 않고 필요한 것만 골라 보내는 방식으로 ACE보다 적은 토큰으로 같거나 더 나은 성능을 낸다는 이야기예요

무슨 내용인가

이 글은 AppWorld 벤치마크에서 에이전트 메모리 시스템인 ACE(Agentic Context Engineering)와 ALTK-Evolve를 비교한 실험 결과를 다루고 있어요. 두 시스템 모두 에이전트가 겪은 과거 경험을 요약하지 않고 지지 횟수(support count)와 함께 축적해두는 점은 같지만, ACE는 매 단계마다 전체 플레이북을 모델에 주입하는 반면 ALTK-Evolve는 모델이 실제로 활용할 수 있는 만큼만 선별해 전달하는 점이 다르다고 해요. 같은 ReAct 코드 에이전트 기반으로 실험한 결과, 강한 모델(DeepSeek-V3.2)에서는 ACE 추론 비용의 약 40%로 두 지표 모두 앞섰고, 약한 모델(gpt-oss-120b)에서는 정확도가 56.0대 54.8로 거의 동률이면서 비용은 약 7분의 1 수준이었다고 해요. 난이도별로 보면 강한 모델에서는 쉬움, 어려움, 전체에서 ALTK-Evolve가 앞섰고 ACE는 중간 난이도에서만 우위였으며, 약한 모델에서는 ACE가 쉬움, 중간에서 앞섰지만 어려운 과제와 전체 합산에서는 선별 검색 방식이 이겼다고 밝히고 있어요.

에디터 노트 | FactStack

이 실험이 흥미로운 건 '메모리를 통째로 넣는 게 안전하다'는 직관이 강한 모델에서는 틀렸다는 걸 보여줘서예요. DeepSeek-V3.2처럼 성능 좋은 모델은 오히려 선별된 정보만 받았을 때 비용 40%로 더 정확했는데, 이건 모델이 강할수록 불필요한 컨텍스트가 노이즈로 작용한다는 뜻이고 실무에서 RAG 파이프라인 설계할 때도 똑같이 적용되는 원리입니다. 다만 약한 모델에서는 중간 난이도 과제에서 ACE가 이겼다는 점을 놓치면 안 되는데, 결국 어떤 메모리 전략이 최적인지는 모델 성능과 과제 난이도 조합에 따라 달라진다는 거고 '선별 검색이 항상 낫다'는 식으로 일반화하면 위험합니다. 마케팅 자동화 에이전트 붙일 때 벤치마크 하나로 아키텍처 결정하지 말고 실제 쓰는 모델과 태스크 난이도 분포로 직접 테스트해봐야 한다는 게 핵심입니다.

실무 시사점

에이전트형 AI 도구를 도입할 때 프롬프트에 모든 경험을 통째로 넣는 방식보다 필요한 만큼만 선별 전달하는 방식이 추론 비용을 크게 줄이면서 정확도도 유지할 수 있다는 점을 마케팅, 운영 자동화 실무자가 참고할 만합니다

ACE 대신 ALTK-Evolve, 토큰 훨씬 적게 쓰는 에이전트 메모리 기법

무슨 내용인가

실무 시사점

태그

관련 글