AI 에이전트 활용법, Claude 서브에이전트 60개가 만든 검증 파이프라인

무슨 일이 일어나고 있나

Anthropic 직원이 미공개 연구용 Claude에게 리만 가설을 던졌습니다. 1859년에 제기됐고 100만 달러 현상금이 걸린 문제입니다. 가설 자체는 당연히 안 풀렸습니다. 대신 Claude는 우회로에서 성과를 냈어요.

메커니즘을 한 단계 들여다볼 필요가 있습니다. 이 분야엔 두 갈래 연구 계보가 있었습니다. 하나는 '임계선 위 영점의 최소 비율'을 수십 년에 걸쳐 41.6%까지 끌어올린 흐름이고, 다른 하나는 1973년 Montgomery가 도입한 영점 분포 기법인데 이쪽은 리만 가설이 참이라는 가정 위에 서 있었습니다. 가정을 전제로 한 도구는 하한을 올리는 데 쓸 수 없죠. 그런데 Aryan이, 이어서 Baluyot, Goldston, Suriajaya, Turnage-Butterbaugh가 그 가정을 떼어낸 일련의 논문을 냈습니다. Claude가 한 일은 여기에 Bombieri의 2000년 논문을 결합하면 기존 최고 기록을 넘길 수 있다는 조합을 찾아낸 것입니다. 즉 새 정리를 발명한 게 아니라, 흩어진 최근 성과들 사이의 연결 가능한 접점을 대량 탐색으로 짚어냈어요.

Anthropic 소속 수학자 두 명이 논문을 검토하고 전문가용 비공식 노트를 작성했습니다. 외부에서는 이 분야 전문가인 Brian Conrey와 Dan Goldston이 촉박한 일정에도 논문을 살펴봤습니다. Claude는 형식 검증이 가능한 증명도 함께 산출했습니다. 그리고 Anthropic은 "이 기법이 리만 가설 증명으로 이어질 것으로 기대하지 않는다"고 스스로 못 박았습니다.

같은 '분포를 넓게 깐다'는 패턴이 기상 예측에서도 보입니다. Google DeepMind의 WeatherNext는 Functional Generative Networks로 예측 앙상블을 만듭니다. 작년 시스템은 한 번에 50개 예측을 냈고 이는 글로벌 물리 모델과 같은 수준이었어요. 올해는 앙상블 규모를 1,000개로 키웠고, 그 덕에 2025년 허리케인 Melissa 때 나타난 급속 강화 같은 드물지만 치명적인 시나리오를 포착했습니다. 15일 예측 하나를 TPU에서 1분 미만에 생성합니다.

해상도 대목이 특히 흥미롭습니다. 지금까지 강도 예측 정확도의 주 동인은 초고해상도라고 여겨졌는데, WeatherNext Cyclones는 28x28km 데이터만 필요합니다. 전통 모델보다 100배 거칩니다. 111x111km로 더 거친 WeatherNext 2-mini도 좋은 성능을 보였고요. 원문 표현대로 이 결과는 과학자들을 놀라게 했고, 왜 이 해상도에서 이런 정확도가 나오는지는 아직 미해결 연구 질문입니다. DeepMind는 Nature 논문과 함께 코드와 가중치를 오픈소스로 공개했고, mini는 무료 공개 Colab 노트북의 단일 TPU에서 돌아갑니다. 사이클론 예측 리드타임은 하루 이상 늘었는데, 원문은 이를 기상학 10년치 진보에 해당한다고 표현합니다.

TutorMoments는 정반대 축을 봅니다. 미국 튜터링 프로그램에서 수집한 실제 1:1 수학 과외 기록을 경력 교사들이 검토하면서, 튜터가 '문제를 쉽게 만들어 시작을 도울지' 대 '학생이 스스로 더 추론하게 밀어붙일지' 사이에서 선택해야 했던 순간을 표시합니다. 그 결정 지점까지의 대화를 LLM에 넘겨 튜터 역할을 이어받게 하고, 학생 역할은 다른 LLM이 맡는 시뮬레이션 세션으로 이어갑니다. 결과는 명확했어요. "잘 가르쳐라"만 지시하면 모델은 과도한 지원을 주는 쪽으로 쏠렸고, 학생에게 더 깊은 사고를 요구하는 일은 드물었습니다. 도움과 물러섬의 트레이드오프를 프롬프트에 명시하면 성능이 개선되지만, 상황에 일관되게 맞추는 인간 튜터와의 격차는 메워지지 않았고 모델별 편차도 컸습니다. 비식별 대화 데이터셋, 리플레이 파이프라인 코드, 평가에 쓴 모델 튜터 리플레이가 재현성을 위해 공개됐습니다.

도구 레이어에서는 Wingify가 Wandz를 내놨습니다. VWO와 AB Tasty의 실험, 개인화, 기능 관리, 커머스, 고객 인사이트 워크플로에 직접 박힌 AI 레이어입니다. AB Tasty의 Evi와 VWO의 Copilot을 두 스위트 통합에 맞춰 하나로 합친 형태예요. 원문의 진단이 날카롭습니다. "왜 이 페이지 전환율이 떨어졌나", "다음엔 어떤 오디언스 세그먼트에 보여줘야 하나" 같은 질문의 유용한 답은 어떤 실험이 돌고 있는지, 트래픽이 어떻게 갈라지는지, 특정 세그먼트에 실제로 누가 들었는지, 히트맵과 세션 기록이 뭘 보여주는지, 이전에 뭘 시도했는지에 달려 있는데 범용 챗봇은 기본적으로 이 중 무엇에도 접근하지 못합니다. 그래서 내보내고, 붙여넣고, 컨텍스트를 다시 쓰고, 돌아온 제안을 손으로 옮기는 왕복이 생기죠. 원문의 결론은 이겁니다. 마찰은 AI 추론 품질이 아니라 필요한 정보를 먹여주는 수작업에 있다.

왜 중요한가

네 사례를 겹쳐보면 성과를 가른 변수가 모델 지능이 아닙니다.

첫째, 분포의 폭입니다. WeatherNext는 앙상블 50개일 때 글로벌 물리 모델과 동급이었어요. 1,000개로 20배 늘리자 급속 강화 같은 꼬리 사건이 잡히기 시작했습니다. 왜 그럴까요. 꼬리 위험은 정의상 낮은 확률 영역에 있어서, 표본 50개로는 아예 뽑히지 않을 확률이 높습니다. 정확도를 올려 잡는 게 아니라 표본 수를 늘려 발생 가능 영역을 덮는 방식이죠. Claude 사례도 같은 논리 위에 있습니다. 조합 가능한 정리들의 접점을 사람이 순차 탐색하면 몇 개를 확인하기도 어렵지만, 병렬 탐색은 조합 공간을 넓게 훑고 성립하는 것만 남깁니다.

둘째, 판정 비용입니다. 여기가 핵심 메커니즘이에요. 넓게 까는 전략은 '틀린 것을 값싸게 버릴 수 있을 때'만 작동합니다. Claude 결과는 형식 검증 가능한 증명으로 나왔습니다. 수학 증명은 참, 거짓 판정이 기계로 끝납니다. 그래서 대량 시도가 곧 비용 폭발로 이어지지 않아요. 반대로 판정에 사람 시간이 드는 업무는 시도를 늘릴수록 검토 병목이 커집니다. 이 비대칭이 어떤 도메인에서 에이전트가 먼저 통하는지를 결정합니다.

셋째, 성능과 설명의 분리입니다. WeatherNext는 28x28km, 전통 모델보다 100배 거친 데이터로 정확도를 냈고 그 이유는 아직 모릅니다. 원문이 직접 "미해결 연구 질문으로 남아 있다"고 적었어요. 성능이 좋다는 사실과 왜 좋은지 아는 것은 다른 문제이고, 감사, 규제가 필요한 영역에서는 후자가 채택 요건이 됩니다. Claude 사례가 Lean 검증을 붙인 것과 대비되는 지점이죠.

넷째, 도움의 기본값입니다. TutorMoments가 짚은 원인은 모델의 무능이 아니라 학습 목표입니다. 언어 모델은 도움이 되도록 훈련되고, 도움이 되는 조수는 어려운 부분을 대신합니다. 개념을 설명하고, 단계를 늘어놓고, 답까지 안내하죠. 학습에서는 이게 생산적 고투를 잘라먹습니다. 이 구조는 업무용 에이전트에도 그대로 옮겨붙어요. 에이전트가 분석 결론까지 내주면 팀은 그걸 검증 없이 받습니다.

다섯째, 컨텍스트의 위치입니다. Wandz 사례의 주장은 AI가 더 똑똑해졌다는 게 아니라 왕복이 사라졌다는 것입니다. 데이터 내보내기, 붙여넣기, 컨텍스트 재작성, 결과 수동 반영이라는 네 단계 수작업이 실험 회전율을 깎던 거죠.

이해관계, 역학

발표 주체의 유인을 떼어놓고 보면 그림이 달라져요.

Anthropic은 실패를 헤드라인에 걸었습니다. '리만 가설 못 풀었다'는 문장으로 시작하는 발표는 이례적입니다. 그런데 이 구성이 오히려 목적에 맞아요. 과장했다는 반박 여지를 미리 없애면서, 그 아래 붙은 41.6%→67.2%라는 검증된 숫자의 신뢰도를 끌어올립니다. "이 기법이 리만 가설 증명으로 이어질 것으로 기대하지 않는다"는 선긋기도 같은 계산이에요. 기대치를 스스로 낮추면 남은 주장은 방어 가능해집니다. 사내 수학자 두 명의 검토 노트, 외부 전문가 Conrey와 Goldston의 확인, 형식 검증 증명까지 세 겹을 붙인 건 '미공개 연구용 버전'이라는 재현 불가능성을 상쇄하려는 선택으로 읽힙니다. 발표에서 실제로 팔리는 메시지는 수학 결과가 아니라 "AI 모델의 수학 능력 진보 속도"라는 마지막 문장이에요.

미공개 버전이라는 조건이 양날입니다. 외부 검증자가 결과를 확인할 수는 있어도, 일반 사용자가 같은 모델로 같은 과정을 재현할 수는 없습니다. 성능 주장의 검증 부담이 사용자에게 넘어오지 않는 구조죠.

Google DeepMind는 표준 자리를 노립니다. Nature 논문과 동시에 코드와 가중치를 오픈소스로 풀었고, WeatherNext Cyclones와 10월에 운영 투입한 WeatherNext 2, 그리고 mini까지 세 세트를 함께 공개했습니다. mini가 무료 Colab의 단일 TPU에서 돈다는 건 진입 장벽을 사실상 0으로 만드는 설계예요. 여기에 왜 이 해상도에서 정확한지 모른다는 사실을 감추지 않고 "연구 커뮤니티와 함께 밝히고 싶다"고 공개 초대장을 냈습니다. 미해결 질문을 공개하면 외부 연구가 자사 모델을 대상으로 몰립니다. 기상청과 비영리가 이 모델을 기준선으로 삼기 시작하면, Weather Lab이 온도, 강수, 풍속까지 한 화면에 모은 뷰가 사실상의 표준 인터페이스가 됩니다. 이 전체가 Google Earth AI 우산 아래 있고요.

Wingify의 주장은 사실이면서 동시에 락인 논리입니다. 범용 챗봇이 실험, 오디언스, 메트릭, 히트맵에 접근하지 못한다는 진단은 정확합니다. 하지만 그 진단이 도출하는 결론은 '우리 스위트 안에 있어야 한다'예요. 컨텍스트가 플랫폼 안에 있다는 강점은, 뒤집으면 컨텍스트를 밖으로 못 빼낸다는 뜻이 될 수 있습니다. 그리고 이 발표에는 다른 층위가 하나 더 있습니다. VWO와 AB Tasty가 Wingify 아래로 수렴하는 중이고, Evi와 Copilot이라는 두 어시스턴트를 Wandz 하나로 합쳤어요. 제품 통합 과정에서 어느 쪽 사용자도 기능을 잃지 않았다는 신호를 보내는 것이기도 합니다.

TutorMoments는 심판 자리를 선점합니다. 데이터셋, 파이프라인 코드, 모델 리플레이를 다 공개한 건 재현성 명분이지만, 동시에 이 프레임워크가 AI 튜터 평가의 기준선이 된다는 의미예요. 원문이 기존 벤치마크를 직접 겨냥합니다. 절대 답을 알려주지 않는다든가 항상 힌트를 준다든가 하는 단일 행동을 보상할 뿐, 그게 학생의 현재 이해 수준에서 옳은 선택이었는지를 따지지 않는다는 거죠. 좋은 튜터링은 고정된 하나의 행동이 아니라는 주장을 평가 설계로 밀어붙이는 셈입니다. 다만 이 평가는 학생 역할도 LLM이 맡는 시뮬레이션이고, 실제 학습 효과 측정은 아닙니다.

실무에 주는 함의

내일부터 바꿀 것들입니다.

1. 넓게 깔기 전에 판정 자동화를 먼저 확인하세요. 순서가 중요합니다. "이 작업의 결과가 맞는지 기계가 판정할 수 있나"에 답이 안 되면, 시도 횟수를 늘리는 건 검토 병목만 키웁니다. 자동 판정이 가능한 것부터 목록을 만드세요. 쿼리 결과 재계산, 스키마 검증, 태그 규칙 위반 탐지, 표본 크기와 유의성 자동 체크가 1순위입니다.

2. 탐색, 실행, 검증을 분리하세요. 하나의 긴 프롬프트에 다 담지 말고 단계를 나눕니다. 마케팅이라면 가설 생성, 세그먼트 쿼리 실행, 통계 검증, 리포트 초안을 각각 분리하고 단계 사이 입출력 스펙을 문서로 고정하세요. 검증 단계가 실행 단계와 같은 프롬프트 안에 있으면 자기 결과를 자기가 통과시킵니다.

3. 점 추정 대신 분포로 받으세요. WeatherNext가 앙상블 50개에서 1,000개로 늘려 얻은 건 평균 정확도가 아니라 꼬리 시나리오 포착입니다. 수요예측, 재고, 캠페인 성과 보고 포맷을 단일 숫자에서 범위와 확률로 바꾸세요. 특히 '드물지만 치명적인' 케이스가 있는 지표라면 필수입니다.

4. 에이전트에 즉답 금지 규칙을 심으세요. TutorMoments가 확인한 건 기본 지시만으로는 과잉 개입이 나온다는 것, 그리고 트레이드오프를 프롬프트에 명시하면 개선된다는 것입니다. 사내 분석 어시스턴트 시스템 프롬프트에 "근거 데이터가 부족하면 결론 대신 되묻기", "단일 답 대신 선택지와 각각의 전제 제시"를 넣으세요. 단, 프롬프트로 개선된 판단은 격차를 다 메우지 못했다는 점도 같이 기억해야 합니다.

5. 내장형 AI를 쓰되 승인 관문은 사람이 쥐세요. Wandz처럼 발견에서 실행까지 한 화면에서 끝나는 구조는 왕복 마찰을 없애는 대신, 중간 점검이 사라지기도 쉽습니다. 배포 전 체크리스트를 승인 조건으로 거세요. 표본 크기 충족 여부, 최소 실험 기간, 세그먼트별 결과 분리 확인 정도가 최소 항목입니다.

6. 오픈 웨이트 모델은 자체 기준선을 세운 뒤 도입하세요. WeatherNext는 코드와 가중치가 공개돼 있고 mini는 무료 Colab에서 돌아갑니다. 진입 비용이 낮다는 건 곧 우리 데이터로 먼저 재보고 판단할 수 있다는 뜻이에요. 벤더 발표 수치를 기준선으로 삼지 말고, 공개된 걸 직접 돌려 우리 기준선을 만드세요.

리스크, 반대 관점

이 흐름을 과대평가하기 쉬운 지점이 여럿이에요.

미공개 버전 편향. Claude의 수학 결과는 미공개 연구용 버전에서 나왔습니다. 일반 API로 같은 작업을 시켰을 때 동일한 결과가 나온다는 근거는 공개되지 않았습니다. 벤더 발표 사례를 우리 환경 기준선으로 옮기면 일정과 예산 산정이 틀어집니다.

비용이 공개되지 않았습니다. 이 작업에 든 계산 비용, 소요 시간, 시도 횟수는 원문에 나오지 않습니다. '넓게 깔면 나온다'는 교훈만 떼어 승인 없이 적용하면 비용이 먼저 터집니다. 재시도 상한과 중단 조건을 문서로 박아두는 게 먼저예요.

검증 가능한 도메인만 통합니다. 수학 증명은 형식 검증으로, 코드는 테스트로 판정됩니다. 브랜드 카피, 크리에이티브 판단, 인과 해석에는 그런 관문이 없어요. 형식 검증 사례를 근거로 '에이전트가 분석까지 대신한다'고 확장하면, 틀린 결론을 빠르게 대량 생산하는 파이프라인이 됩니다.

조합이지 발명이 아닙니다. Claude가 한 일은 Aryan, Baluyot, Goldston, Suriajaya, Turnage-Butterbaugh의 최근 연구와 Bombieri의 2000년 논문을 결합할 길을 찾은 것입니다. 원문도 수십 년간 축적된 선행 연구에 크게 의존했다고 명시합니다. 선행 연구가 두텁게 쌓인 영역에서 접점을 찾는 능력과, 백지에서 새 방법을 만드는 능력은 다릅니다. 우리 도메인에 정리된 선행 자산이 없다면 같은 결과를 기대하기 어려워요.

설명 불가라는 함정. WeatherNext가 왜 28x28km에서 정확한지는 아직 모릅니다. 원문이 스스로 미해결 질문이라 적었어요. 감사나 규제 대응이 필요한 영역에서 '성능이 좋다'는 채택 근거가 되지 못합니다. 참고 신호 한 겹으로 두고 별도 검증을 붙이는 편이 안전합니다.

평가 지표의 미완성. TutorMoments는 프리뷰 단계이고, 학생 역할까지 LLM이 맡는 시뮬레이션입니다. 실제 학습 성과와의 연결은 원문에 제시되지 않았고, 대상은 미국 튜터링 프로그램의 1:1 수학 세션으로 한정됩니다. 벤치마크 결과를 제품 카피로 옮기기엔 이릅니다.

반대 시나리오. 넓게 까는 전략이 통하는 건 정답 판정이 값싸고 자동화되는 문제뿐일 수 있습니다. 판정 비용이 사람 시간인 업무에서는 시도를 늘린 만큼 검토 병목이 커져 총 처리량이 오히려 떨어집니다. 병렬화 도입 전에 판정 자동화 가능 여부를 먼저 확인하세요.

자주 묻는 질문

anthropic claude 란 무엇인가요

Anthropic이 만든 LLM 계열입니다. 이번 수학 결과를 낸 건 일반 공개판이 아니라 미공개 연구용 버전이에요. Anthropic 직원이 리만 가설 도전을 시켰고, 가설 자체는 풀지 못했지만 관련 문제에서 진전을 냈습니다. 구체적인 계산 환경이나 실행 과정의 세부 수치는 원자료에 공개되지 않았습니다.

claude 사례 중 실제로 검증된 성과가 있나요

리만 제타 함수 영점 중 리만 가설을 만족하는 비율의 하한을 41.6%에서 67.2%로 개선한 결과가 있습니다. Anthropic 소속 수학자 두 명이 논문을 검토하고 전문가용 비공식 노트를 작성했고, 외부 전문가 Brian Conrey와 Dan Goldston도 짧은 시간 안에 논문을 살펴봤습니다. Claude는 형식 검증 가능한 증명도 함께 산출했어요. 다만 리만 가설 자체는 미해결이고, Anthropic도 이 기법이 증명으로 이어질 것으로 보지 않는다고 밝혔습니다.

ai 에이전트 비교는 어떤 기준으로 하나요

벤치마크 점수보다 세 가지를 보세요. 산출물을 기계로 판정할 관문을 붙일 수 있는지, 우리 데이터 컨텍스트에 이미 접근하는지, 그리고 결론을 단정하지 않고 선택지를 제시하도록 통제할 수 있는지입니다. Wandz처럼 실험, 오디언스, 메트릭, 히트맵, 세션 기록에 이미 붙어 있는 내장형은 데이터 내보내기 왕복이 없어 회전율이 다르지만, 컨텍스트를 스위트 밖으로 빼기 어려워지는 대가가 붙습니다.

마케팅 ai 활용에서 에이전트를 어디부터 붙일까요

결과 판정이 자동화되는 업무부터입니다. 쿼리 재계산, 태그 규칙 검증, 스키마 검증, 표본 크기와 유의성 체크처럼 기계가 맞고 틀림을 가려주는 작업이 대상이에요. 그다음 탐색, 실행, 검증을 분리하고, 재시도 상한과 중단 조건, 배포 전 사람 승인 관문을 문서로 정해두면 됩니다. 판정이 사람 눈에 달린 업무는 뒤로 미루세요.

개인화 마케팅 전략에 내장형 AI가 도움이 되나요

Wandz는 어떤 실험이 돌고 있는지, 트래픽이 어떻게 갈리는지, 세그먼트에 실제로 누가 들었는지, 히트맵과 세션 기록이 무엇을 보여주는지를 이미 아는 상태에서 분석과 실행을 돕는 구조라 가설 검증 주기를 줄일 수 있습니다. 반대로 가설 생성부터 결과 해석까지 AI가 대신하면 통계적 유의성과 세그먼트 편향을 검증 없이 신뢰하는 팀이 늘어요. TutorMoments가 보여준 과잉 개입의 기본값이 여기서도 작동합니다. 빠르게 돌리는 만큼 빠르게 잘못된 결론에 도달할 수 있으니, 검토 단계는 사람이 쥐고 있어야 합니다.