Datadog Online Experiments 사례, AI 에이전트 변경 효과 비교

오프라인 실험만으로는 부족한 이유

에이전트를 개선할 때는 미리 만든 데이터셋으로 돌리는 오프라인 실험이 기본이에요. 알려진 회귀를 배포 전에 잡을 수 있다는 장점이 있습니다. 다만 대표 요청을 고르고, 좋은 동작의 기준을 합의하고, 심판 역할의 모델에 쓸 루브릭을 만드는 데 시간과 제품 지식이 들어요. 제품이 바뀌면 데이터셋의 빈틈도 계속 드러나고요.

온라인 실험은 정해둔 테스트 케이스 대신 실제 사용자 상호작용을 온라인 평가로 채점해서 변형끼리 비교합니다. 팀이 예상하지 못한 요청이나 후속 질문처럼 오프라인 데이터셋에 없던 패턴을 잡을 수 있고, 이렇게 찾은 사례가 다시 더 나은 오프라인 데이터셋의 재료가 됩니다.

Online Experiments가 일하는 방식

Agent Observability에서 이미 만든 evaluator의 점수를 실험 지표로 연결하고, 지연시간이나 비용 같은 운영 지표를 함께 수집합니다. 변형이 애플리케이션에 연결되어 있으면 Datadog Feature Flags가 트래픽 분할을 맡고, 재배포 없이 노출 비율을 조절할 수 있어요. 소수 사용자에게만 새 버전을 먼저 보여주고 대조군을 유지하는 식으로 시작합니다. 그러면 Experiments가 상대 변화율과 신뢰구간을 계산해요.

기존 버전을 대조군으로 두고 같은 기간에 변경 버전을 함께 돌리면서 무작위 배정을 쓰기 때문에, 쉬운 질문이 많이 들어와서 좋아 보이는 착시와 실제 변경 효과를 구분할 수 있습니다. 실험 화면에서 Agent Observability의 트레이스로 넘어가면 에이전트가 어떤 도구를 어떤 인자로 호출했고 결과에 어떻게 반응했는지도 볼 수 있어요.

Datadog 내부 사례, Luna 5.6 대 Luna 6

Datadog은 자체 Insights 에이전트(트레이스 증거로 에이전트 동작을 조사하는 에이전트)에서 OpenAI의 GPT-5.6 Luna와 GPT-6 Luna를 비교했습니다. 트래픽을 절반씩 나누고 Luna 5.6을 기준으로 삼았어요. 핵심 지표는 LLM 심판이 1-5점으로 매긴 조사 품질이었고, 지연시간, 추정 비용, 추정 토큰 사용량, 워크플로 오류는 트레이스에서 따로 모았습니다.

• 비용: Luna 6의 추정 비용이 44.3% 낮았어요(신뢰구간 37.5-51.2%).
• 품질: 3.84 대 3.86으로 비슷했지만, 평균이 가깝다고 품질이 같다는 근거가 되지는 않는다고 원문도 짚습니다.
• 지연시간과 오류: 최선 추정치는 지연시간 12.8% 증가, 워크플로 오류 13.6% 증가였어요. 지연시간 구간은 4% 감소부터 30% 증가까지, 오류 구간은 16% 감소부터 43% 증가까지라서 차이가 거의 없을 수도, 의미 있게 늘었을 수도 있는 상태였습니다.

불확실한 구간은 트레이스로 확인했어요. Luna 6가 잘못된 도구 파라미터를 Luna 5.6보다 더 자주 넘겼고, 대개 재시도 후에는 바로잡았습니다. 품질 심판이 도구 사용을 보긴 하지만 종합 점수만으로는 호출이 얼마나 자주 실패하고 복구에 얼마나 일이 들었는지 알 수 없었다고 합니다. 이 도구 파라미터 문제를 고친 뒤에 비용이 낮은 Luna 6 버전으로 넘어갔어요. 실패한 호출 사례는 오프라인 회귀 테스트 후보가 되고, 도구 정의나 오류 피드백을 바꾸는 후속 온라인 실험도 가능합니다.

실무 적용 체크리스트

• 모델이나 프롬프트를 바꿀 때 평균 품질 점수 하나로 결정하지 말고 비용, 지연시간, 오류를 같은 실험에 넣어요.
• 신뢰구간이 0%를 가로지르는 지표는 결론을 내리지 말고 트레이스로 원인을 확인합니다.
• 처음에는 일부 사용자에게만 노출하고 대조군을 남겨요.
• 실험에서 발견한 실패 사례는 오프라인 회귀 테스트로 옮깁니다.