Datadog 알림 원인 분석, 작은 AI 모델로 비용 20배 줄인 방법

AS-IS, 대형 모델 조사는 비쌌다

배포나 feature flag, 설정 변경이 알림을 유발했을 때 어떤 변경이 원인인지 찾으려면 여러 서비스와 시스템을 가로지르는 조사가 필요합니다. 규칙 기반 접근(Datadog의 Relevant Changes 탭)은 빠르고 저렴하지만 복잡한 인시던트에서는 정확도가 떨어져요. 반대로 Bits Investigation 같은 에이전트 기반 조사는 증거를 더 깊이 추론할 수 있지만, 프론티어 모델을 모든 알림에 매번 쓰기엔 비용이 너무 큽니다. Datadog 내부 텔레메트리(2026년 7월 기준)에 따르면 Change Tracking 도구는 매주 수천 건의 Bits investigation에 기여하고 있고, Bits Investigation 결론의 20%가 Change Tracking이 잡아낸 변경을 참조하고 있었어요.

이번 내용, NVIDIA 방식 응용해 소형 모델 학습

Datadog은 프롬프트 엔지니어링만으로는 Qwen3.5-9B를 신뢰할 만하게 만들지 못했다고 밝혔습니다. 시스템 프롬프트와 도구 설명을 반복 조정해도 이 모델은 너무 넓게 탐색하는 경향이 있었어요. 그래서 NVIDIA의 data flywheel 방식을 change attribution에 맞게 응용했습니다. 대형 교사 모델(GLM-5.3)로 조사 흔적을 생성하고, 성공한 흔적만 골라 rejection sampling으로 학습 데이터를 만든 뒤, 이 데이터로 Qwen3.5-9B를 16비트 LoRA로 파인튜닝하는 방식이에요. 교사 모델은 8턴, 5개 도구, 65,536토큰 컨텍스트 윈도우로 조사를 수행했고, 2026년 5월 26일부터 6월 24일까지의 내부 인시던트 348건에서 초기 학습 데이터 100건을 뽑았습니다. 이후 두 차례 반복을 거쳐 학습 데이터는 186건까지 늘었어요.

결과, 87% 성능을 5% 비용으로

2026년 8월 11일부터 25일까지 수집한 프로덕션 인시던트 326건(내부 187건, 고객 139건)으로 평가한 결과, 파인튜닝한 학생 모델은 Recall@5 0.55를 기록했습니다. 교사 모델 GLM-5.3의 Recall@5는 0.63이었으니 87% 수준이에요. 조사 1건당 추론 비용은 자체 호스팅 기준 0.003달러로, GLM-5.3의 API 비용 0.06달러 대비 약 20배 낮았습니다. 자체 규칙 기반 랭커의 Recall@5는 0.46으로 파인튜닝 모델보다 낮았고요. 고객 인시던트 139건만 따로 봐도 파인튜닝 모델은 0.62 Recall@5로, 베이스 모델(0.52)과 휴리스틱 랭커(0.51)를 모두 앞섰습니다. 파인튜닝은 행동 자체도 바꿨는데, 베이스 Qwen3.5-9B는 조사의 25%에서 턴 한도나 컨텍스트 윈도우를 소진했지만, 파인튜닝 후에는 평균 검색 호출이 6.8회에서 5.8회로 줄고 로그, 스팬, 메트릭에서 증거를 더 많이 모으는 쪽(평균 8.3회)으로 행동이 바뀌었습니다.

실무 적용 포인트

데이터 신뢰성이나 인프라 운영 조직이 이 사례에서 가져갈 점은 이렇습니다. 첫째, 반복 구조가 일정한 작업(같은 도구 세트, 같은 목표)일수록 소형 모델 파인튜닝 효과가 큽니다. 둘째, 수동 라벨링 없이도 기존 조사 결론을 proxy label로 활용할 수 있다는 점이 눈에 띄어요. 셋째, teacher-student 사이클을 반복(프로덕션에서 계속 재학습)하면 데이터가 계속 쌓이면서 성능이 개선될 여지가 있습니다. Datadog은 0.003달러 비용 기준으로 A100 GPU 한 대가 주당 약 10만 건의 조사를 지원할 수 있다고 밝혔고, 고객이 매주 다루는 수백만 개의 모니터 중 일부를 커버할 수 있는 수준이라고 설명했어요. 더 큰 규모로 확장하기 위한 최적화 작업은 계속 진행 중이라고 합니다.

자주 묻는 질문

datadog 란

Datadog은 인프라 모니터링, APM(애플리케이션 성능 모니터링), 로그 관리 등을 제공하는 관측성(observability) 플랫폼입니다. 이번 사례처럼 알림이 발생했을 때 원인이 된 변경을 찾아내는 조사 자동화 기능(Bits Investigation, Change Tracking)도 갖추고 있어요.

sentry datadog 비교

원문에는 Sentry와의 직접 비교 내용이 없습니다. 다만 Datadog은 이번에 알림 원인 조사를 규칙 기반 방식과 에이전트 기반 방식으로 나눠 운영하고, 소형 모델 파인튜닝으로 비용 효율을 높인 사례를 공개했다는 점이 특징이에요.

마케팅 데이터 분석 툴로 datadog을 쓸 수 있나

이번 원문은 인프라 알림과 변경 원인 분석에 초점을 맞춘 내용이라 마케팅 데이터 분석 활용 사례는 언급되지 않았습니다. Datadog은 본래 인프라, 애플리케이션 관측성 도구로, 마케팅 데이터 분석 전용 툴과는 목적이 다릅니다.

큰 AI 모델 대신 작은 모델을 쓰는 이유는 뭔가

Datadog 사례에서는 프론티어 모델을 모든 알림마다 돌리기엔 비용이 너무 커서, 그 결과물로 소형 모델을 학습시켜 비슷한 성능을 훨씬 낮은 비용으로 내는 전략을 택했습니다. 이번 사례에서는 교사 모델 성능의 87%를 5%의 추론 비용으로 재현했어요.