Datadog Scout 1.0 사례: AI SRE 장애 조사 모델과 비용 비교

실무 맥락: 조사 한 번에 모델 호출이 여러 번 든다

Bits Investigation은 가설을 세우고, 텔레메트리를 조회하고, 증거가 결론을 뒷받침하는지 판단하는 과정을 거칩니다. 이 단계마다 모델 호출이 반복돼요. 그래서 범용 프런티어 모델을 쓰면 조사를 걸 수 있는 알림 수가 비용에 막히기 쉽습니다. Datadog은 Bits를 엔지니어가 투입되기 전에 증거를 모으고 유력한 원인을 추려 두는 상시 1차 대응자로 두는 것을 목표로 하고 있어요.

Scout 1.0이 바뀐 지점

Scout는 GLM-5.3 Flash를 기반으로, 실제 과거 인시던트와 알림의 텔레메트리로 만든 시뮬레이션에서 강화학습 후처리 학습을 했습니다. 시뮬레이션에는 고객 데이터가 들어가지 않고, 원인이 알려진 시나리오로 구성돼요. 학습 보상은 원인을 찾는 것과 결론을 증거로 뒷받침하는 것에 걸렸습니다. 회사가 공개한 비교 수치는 이렇습니다.

• Scout 1.0 medium은 GPT-6.1 Sol high, Claude Opus 5.5 high와 같은 수준의 성능을 3-8배 낮은 추정 추론 비용으로 냄
• Fable medium, Astra medium과는 비슷한 성능을 각각 12배, 19배 낮은 비용으로 냄
• 추론 연산을 더 쓰는 Scout 1.0 xhigh는 Fable xhigh와 비슷한 성능을 4배 낮은 비용으로 냄

성능 점수는 엔지니어가 쓴 기준 설명과의 일치도를 0-100 척도로 잰 값이고, 해결한 인시던트 비율이 아닙니다. 비용은 조사 1건당 추정 추론 비용을 Scout 1.0 medium 기준 상대값으로 표시했어요.

평가 방식: AlertEval과 SREGym

AlertEval은 Datadog 엔지니어가 인시던트 대응 워크플로로 큐레이션한 수천 개 평가 포인트에 기반합니다. 실제 알림, 보관된 텔레메트리, 엔지니어가 쓴 근본 원인 설명을 묶은 평가셋이에요. 외부 벤치마크 SREGym에서는 Scout 1.0 medium이 기반 모델 GLM-5.3-Flash를 크게 앞서고, GLM-5.3을 4배 넘는 비용 절감으로 능가했습니다. Scout 1.0 high는 이 벤치마크 최상위 모델과 겨룰 만하면서도 모든 경쟁 모델 대비 최소 2배 비용 절감을 유지했고, Astra와 Fable급 모델 대비로는 10배 절감이라고 해요.

실무 적용 포인트

• 현재는 Datadog 내부 팀과 일부 고객이 쓰는 비공개 프리뷰 단계이고, 일반 공개 전에 프리뷰를 신청해 자기 환경에서 써볼 수 있습니다.
• 위 비용과 성능 수치는 Datadog이 직접 측정한 값이니, 도입을 검토한다면 자사 알림 유형으로 조사 품질과 호출 비용을 따로 재야 해요.
• 조사 단가가 내려가면 보통 알림 커버리지를 넓히거나 어려운 인시던트에 추론 연산을 더 쓰는 쪽으로 운영 정책을 바꿀 수 있습니다. 어떤 알림부터 자동 조사를 붙일지 우선순위를 미리 정해 두세요.
• Datadog은 이후 더 넓은 장애 유형을 시뮬레이션하고, 조사를 넘어 자율 복구까지 확장할 계획이라고 밝혔습니다.

자주 묻는 질문

AI agent란 무엇이고 Scout는 어떤 종류인가요?

AI agent는 목표를 받아 도구를 쓰며 여러 단계를 스스로 수행하는 AI입니다. Scout는 범용 에이전트가 아니라 장애 원인 조사 하나에 맞춰 후처리 학습한 모델이고, Bits Investigation이 이 모델로 가설 수립과 텔레메트리 조회를 수행해요.

Scout 1.0은 범용 대형 모델과 성능, 가격을 비교하면 어떤가요?

회사 수치로 Scout 1.0 medium은 GPT-6.1 Sol high, Claude Opus 5.5 high와 비슷한 성능을 3-8배 낮은 추정 추론 비용으로 냅니다. 다만 자체 평가셋 기준이고 점수는 해결 비율이 아니라 기준 설명과의 일치도입니다.

AI agent 만들기에 Scout 방식을 참고할 수 있나요?

원인이 알려진 시뮬레이션을 만들고, 정답 원인과 증거 제시에 보상을 주는 강화학습으로 특정 업무에 맞춰 작은 모델을 훈련했다는 점이 핵심입니다. 사내 업무에 적용하려면 신뢰할 수 있는 정답이 달린 과거 사례를 먼저 확보하는 일부터 시작하는 게 좋아요.

Scout는 지금 바로 쓸 수 있나요?

아직 일반 공개 전이고 비공개 프리뷰 단계입니다. 프리뷰를 신청하면 자기 환경에서 써보고 피드백을 줄 수 있어요.