AI 에이전트 활용법, Claude 서브에이전트 60개가 만든 검증 파이프라인

무슨 일이 일어나고 있나

Anthropic 직원이 미공개 연구용 Claude에게 1859년부터 미해결인 리만 가설을 던졌습니다. 가설 자체는 당연히 안 풀렸습니다. 대신 Baluyot, Goldston, Suriajaya, Turnage-Butterbaugh의 최근 연구와 Bombieri의 2000년 논문을 조합해, 수십 년간 41.6%에 머물던 하한을 67.2%로 올렸습니다. Anthropic 소속 수학자 Levent Alpöge와 Ralph Furman이 논문을 검토했고, 외부 전문가 Brian Conrey와 Dan Goldston도 짧은 시간 안에 살펴봤습니다. Anthropic 스스로 "이 기법이 리만 가설 증명으로 이어질 것으로 기대하지 않는다"고 못 박았습니다.

작업 과정의 숫자가 더 중요해요. Claude Code에서 두 차례 세션, 출력 토큰 3100만 개. 첫 시도에서 아이디어 650개가 모두 실패했고, '다시 해보라'는 지시 뒤 서브에이전트 약 60개가 1.5일간 셸 명령 2400개를 실행하며 수백 개 스크립트로 결과를 검증했습니다. 브레인스토밍이 아니라 대량 탐색과 자동 검증의 반복이 결과를 만들었어요.

같은 패턴이 다른 영역에서도 보입니다. Google DeepMind의 WeatherNext는 Functional Generative Networks로 예측 앙상블을 만드는데, 작년 50개였던 앙상블 규모를 올해 1,000개로 키웠습니다. 15일 예측 하나를 TPU에서 1분 안에 생성하고, 사이클론 강도 변화를 기존보다 1일 이상 앞당겨 맞혔습니다. 흥미로운 건 해상도입니다. 28x28km, 전통 모델보다 100배 거친 데이터로 고해상도 물리 모델을 넘어섰고, 왜 되는지는 아직 미해결 연구 질문으로 남아 있습니다. 가장 작은 WeatherNext 2-mini는 111x111km 해상도로 무료 Colab 노트북 하나에서 돌아갑니다.

HuggingFace의 TutorMoments는 반대편을 봅니다. 실제 미국 수학 과외 기록에서 교사가 '도와줄까 물러날까' 갈림길을 표시하고, 그 지점부터 LLM이 튜터를 이어받게 해요. "잘 가르쳐라"만 시키면 모델은 과도하게 도와주는 쪽으로 쏠렸고, 트레이드오프를 프롬프트에 명시하면 나아졌지만 사람 튜터 수준과의 격차는 안 메워졌습니다. 모델별 편차도 컸어요.

도구 레이어에서는 Wingify가 Wandz를 내놨습니다. VWO와 AB Tasty의 실험, 개인화, 기능 관리, 고객통찰 워크플로에 직접 박힌 AI 레이어인데, AB Tasty의 Evi와 VWO의 Copilot을 하나로 합친 형태입니다. 실험 목록, 트래픽 분할, 오디언스 구성, 히트맵, 세션 기록에 이미 접근 가능해서 데이터를 내보내 붙여넣는 왕복이 사라집니다.

왜 중요한가

네 사례를 겹쳐보면 성과를 만든 변수가 모델 지능이 아니에요.

첫째, 시도 횟수. Claude는 650개 실패를 지나야 답에 닿았고, WeatherNext는 앙상블을 50개에서 1,000개로 늘려 급속 강화 같은 희귀 시나리오를 잡았어요. 둘 다 '한 번 잘 맞히기'가 아니라 '분포를 넓게 깔고 그 안에서 건지기'입니다.

둘째, 검증 관문. Claude 결과는 Lean 형식 검증으로 기계가 확인했고, 사내 수학자 2명과 외부 전문가 2명이 봤습니다. 반대로 WeatherNext는 28x28km 저해상도로 왜 잘 맞는지 설명이 안 되는 상태입니다. 검증 가능한 산출물과 설명 안 되는 산출물의 신뢰도 차이가 실무 적용 범위를 갈라놓습니다. 형식 검증이 붙는 도메인(코드, 수식, 스키마, 쿼리 결과)은 지금 당장 에이전트를 굴려도 되고, 검증 수단이 없는 도메인(브랜드 톤, 크리에이티브 판단, 인과 추정)은 사람 리뷰 비용이 그대로 남아요.

셋째, 컨텍스트 위치. Wandz의 논점은 AI 추론 품질이 아니라 마찰이에요. 원문도 "마찰은 AI 추론 품질이 아니라 필요한 정보를 먹여주는 수작업에 있다"고 짚습니다. 실험 데이터를 CSV로 뽑아 범용 챗봇에 붙이고, 해석을 다시 플랫폼에 손으로 옮기는 왕복이 실험 회전율을 깎던 거죠.

넷째, 과잉 도움이라는 기본값. TutorMoments가 보여준 건 LLM이 '도움이 되도록' 학습된 결과로 사용자가 스스로 판단할 기회를 빼앗는다는 점입니다. 에이전트가 분석 결론까지 대신 내려주면 팀은 검증 없이 그걸 받습니다.

이해관계, 역학

발표 주체의 유인을 떼어놓고 보면 그림이 달라져요.

Anthropic은 '리만 가설 미해결'이라는 헤드라인 리스크를 감수하고도 이 사례를 냈습니다. Claude Code에서 서브에이전트를 대량으로 돌리는 워크플로, 즉 토큰 소비량이 큰 사용 패턴이 실제로 값을 만든다는 증명이 필요했으니까요. 3100만 출력 토큰은 성과 지표이면서 청구 규모 힌트이기도 합니다. 사내, 외부 수학자 검토와 Lean 검증을 붙여 발표한 것도 '연구용 미공개 버전'의 신뢰를 사려는 선택입니다. 미공개 버전이라 일반 사용자가 같은 결과를 재현할 수 없다는 점은 액면 그대로 받으면 안 되는 대목입니다.

Google DeepMind는 코드와 가중치를 오픈소스로 풀고 Weather Lab에서 실시간 사이클론 예측을 공개해요. mini 버전이 무료 Colab에서 돌아간다는 것도 접근성 메시지죠. 기상청, 연구기관, 비영리가 이 모델을 기준선으로 쓰기 시작하면 생태계 표준 위치를 가져갑니다.

Wingify는 VWO와 AB Tasty를 합치는 중이고, Wandz는 두 제품의 AI 어시스턴트를 하나로 통합한 결과물입니다. '범용 챗봇으로는 안 되고 우리 스위트 안에 있어야 한다'는 주장은 사실이면서 동시에 스위트 락인 논리이기도 합니다. 컨텍스트가 플랫폼 안에 있다는 강점은 곧 컨텍스트를 밖으로 못 빼낸다는 뜻이 될 수 있습니다.

HuggingFace는 비식별 과외 기록 데이터셋과 리플레이 파이프라인 코드를 공개했어요. 평가 기준을 먼저 깔아두는 쪽이 그 분야의 심판 자리를 잡습니다. 단, 이 프레임워크는 실제 학생 학습 효과를 아직 측정하지 못하고 미국 초중등 수학에 한정돼 있어요.

실무에 주는 함의

내일 점검할 것들입니다.

1. 한 번 실패에서 접는 습관을 없애세요. 650개 아이디어 실패 뒤 재시도가 성과를 만들었습니다. AI 리서치, 분석 태스크에 '재시도 횟수'와 '중단 조건'을 미리 정해두세요. 무한 재시도는 토큰 비용으로 돌아오니, 완료선(무엇이 나오면 멈춘다)을 문서로 박아두는 게 먼저입니다.

2. 작업을 서브에이전트 단위로 쪼개세요. 하나의 긴 프롬프트 대신 탐색, 실행, 검증을 나눠 병렬로 돌리는 구조가 결과를 냈습니다. 마케팅 쪽이면 '가설 생성 → 세그먼트 쿼리 실행 → 통계 검증 → 리포트 초안'을 별도 에이전트로 분리하고, 각 단계 산출물이 다음 단계 입력 스펙에 맞는지 점검하세요.

3. 기계 검증 관문을 하나는 반드시 두세요. Claude는 Lean으로 형식 검증했어요. 실무 대응물은 쿼리 결과 재계산, 표본 크기, 유의성 자동 체크, 태그, 스키마 검증 스크립트입니다. 사람 리뷰만 있는 파이프라인은 회전율이 올라갈수록 무너져요.

4. 실험 플랫폼 안의 AI를 쓸 때 검토 단계는 사람이 쥐세요. Wandz처럼 가설 생성부터 세그먼트 구축까지 한 화면에서 끝나면 통계적 유의성이나 세그먼트 편향을 안 보고 넘어가기 쉬워요. 배포 전 체크리스트(표본 크기 충족, 실험 기간, 세그먼트별 결과 확인)를 승인 조건으로 걸어두세요.

5. 에이전트에게 '즉답 금지' 규칙을 넣으세요. TutorMoments에서 기본 프롬프트는 과잉 개입을 낳았고, 트레이드오프를 명시하니 나아졌습니다. 사내 지식 봇이나 분석 어시스턴트에도 '근거 데이터가 부족하면 되묻기', '결론 대신 선택지 제시' 같은 규칙을 시스템 프롬프트에 넣는 편이 낫습니다.

6. 예측 모델은 점 추정 대신 분포로 받으세요. WeatherNext가 앙상블을 1,000개로 늘려 희귀 시나리오를 잡은 방식은 수요예측, 재고, 캠페인 성과 예측에도 옮겨집니다. 단일 숫자 대신 범위와 확률로 보고받는 포맷으로 바꾸세요.

리스크, 반대 관점

이 흐름을 과대평가하기 쉬운 지점이 여럿이에요.

미공개 버전 편향. Claude 성과는 '미공개 연구용 버전'에서 나왔습니다. 일반 API로 같은 작업을 시켜 동일 결과가 나온다는 근거는 공개 안 됐습니다. 벤더 발표 성능치를 우리 환경 기준선으로 삼으면 예산 산정이 틀어집니다.

비용이 안 보입니다. 두 세션 3100만 출력 토큰, 서브에이전트 60개, 1.5일. 사내 요금 기준으로 환산하면 결코 싸지 않은데, 이 사례의 금액은 공개 안 됐어요. '재시도가 성과를 만든다'는 교훈을 승인 없이 적용하면 토큰 비용이 먼저 터집니다.

검증 가능한 도메인만 통합니다. 수학 증명은 Lean으로, 코드는 테스트로 검증됩니다. 브랜드 카피나 인과 해석은 그런 관문이 없습니다. 형식 검증 사례를 근거로 '에이전트가 분석을 대신한다'고 확장하면 틀린 결론을 빠르게 대량 생산하는 결과가 나와요.

설명 불가라는 함정. WeatherNext는 28x28km 저해상도로 왜 잘 맞는지 아직 모르는 상태예요. 감사, 규제가 필요한 영역에선 성능 좋음만으로 채택 근거가 안 됩니다. 참고 신호 한 겹으로 두고 별도 검증을 붙이는 편이 안전해요.

평가 지표의 미완성. TutorMoments는 실제 학습 효과를 아직 못 측정하고 미국 초중등 수학에 국한됩니다. 프롬프트로 개선되는 능력은 모델 본연의 판단력이 아니라 지시에 얹힌 것이라, 벤치마크 점수를 제품 카피로 옮기기엔 이릅니다.

반대 시나리오. 대량 병렬 탐색이 통하는 건 정답 판정이 값싸고 자동화되는 문제뿐일 수 있어요. 판정 비용이 사람 시간인 업무에서는 시도 횟수를 늘리는 만큼 검토 병목이 커져 총 처리량이 오히려 떨어집니다. 병렬화 이전에 '판정을 자동화할 수 있는가'를 먼저 확인하세요.

자주 묻는 질문

anthropic claude 란 무엇인가요

Anthropic이 만든 LLM 계열이고, 이번 사례에 등장한 Claude Code는 셸 명령과 스크립트를 실행하며 작업하는 에이전트형 환경입니다. Claude는 이 환경에서 서브에이전트 약 60개를 띄워 셸 명령 2400개를 실행하고 Python 스크립트 수백 개로 결과를 검증했습니다. 이번 수학 결과를 낸 건 일반 공개판이 아니라 미공개 연구용 버전입니다.

claude 사례 중 실제 성과가 검증된 게 있나요

리만 제타 함수 영점 중 가설을 만족하는 비율의 하한을 41.6%에서 67.2%로 개선한 결과가 있어요. Anthropic 소속 수학자 Levent Alpöge와 Ralph Furman이 논문을 검토했고, 외부 전문가 Brian Conrey와 Dan Goldston도 확인했으며 Claude가 Lean으로 형식 검증 가능한 증명까지 만들었습니다. 다만 리만 가설 자체는 풀리지 않았고, Anthropic도 이 기법이 증명으로 이어질 것으로 보지 않는다고 밝혔어요.

ai 에이전트 비교는 어떤 기준으로 하나요

모델 벤치마크 점수보다 세 가지를 보세요. 서브에이전트 병렬 실행과 셸, 스크립트 실행이 되는지, 산출물을 기계로 검증할 관문을 붙일 수 있는지, 그리고 우리 데이터 컨텍스트에 이미 접근하는지입니다. Wandz처럼 실험 데이터, 오디언스, 메트릭에 이미 붙어 있는 내장형은 데이터 내보내기 왕복이 없어 회전율이 다르고, 대신 스위트 밖으로 컨텍스트를 빼기 어려워지는 대가가 붙어요.

마케팅 ai 활용에서 에이전트를 어떻게 쓰기 시작하면 좋을까요

결과 판정이 자동화되는 업무부터 붙이세요. 쿼리 재계산, 태그, 스키마 검증, 표본 크기와 유의성 체크처럼 기계가 맞고 틀림을 가려주는 작업이 대상이에요. 그다음 탐색, 실행, 검증을 별도 에이전트로 쪼개고, 재시도 횟수와 중단 조건, 배포 전 사람 승인 관문을 문서로 정해두면 됩니다.

개인화 마케팅 전략에 이런 내장형 AI가 도움이 되나요

Wandz는 실험, 오디언스, 메트릭, 히트맵, 세션 기록에 이미 접근한 상태에서 분석하고 개인화 세그먼트 구축까지 돕는 구조라 가설 검증 주기를 줄일 수 있습니다. 대신 가설 생성과 결과 해석까지 AI가 대신하면 통계적 유의성이나 세그먼트 편향을 검증 없이 신뢰하는 팀이 늘어납니다. 실험 설계 리터러시가 없으면 빠르게 돌리는 만큼 빠르게 잘못된 결론에 도달하니, 검토 단계는 사람이 쥐고 있어야 해요.