Datadog Agent Observability로 AI 에이전트 사용자 만족도 자동 추론하는 법

AS-IS 사용자 피드백 버튼은 실제로 잘 안 눌린다

Datadog은 Agent Observability에서 명시적 사용자 피드백 기능을 제공해왔어요. 에이전트가 잘 작동하는지 확인하고 평가 데이터셋을 만드는 데 이 피드백이 꼭 필요하거든요. 문제는 UI에 좋아요, 싫어요 버튼을 붙여놔도 사용자가 실제로 클릭하도록 강제할 수 없다는 점입니다. Datadog이 자사 Bits Chat을 운영하며 직접 관찰한 결과, 사용자들은 이 버튼을 거의 누르지 않았다고 해요.

이번 내용 weak labeling으로 피드백을 대신 추론

Datadog은 데이터 과학에서 정답 레이블을 얻기 어려울 때 쓰는 weak labeling 기법을 적용했습니다. 기존에 수집하던 세 가지 텔레메트리를 조합하는 방식이에요. Agent Observability 트레이스는 대화 내용 자체를 담고 있어 사용자 감정을 유추할 근거가 됩니다. RUM은 사용자가 바로 이탈했는지, 에이전트 제안을 받아들였는지 등 실제 행동 데이터를 줍니다. Audit Trail은 대시보드나 메트릭 같은 Datadog 산출물이 실제로 변경됐는지를 보여줍니다. Bits Chat 대화 상당수가 이런 변경을 동반하기 때문에 유용한 신호가 될 거라 판단했다고 합니다.

Datadog은 수백 건의 Bits Chat 세션에 사람이 직접 붙인 좋아요, 싫어요 라벨을 정답 데이터로 삼아 검증했어요. 트레이스만 썼을 때 78% 정확도, RUM을 더하니 80%, Audit Trail까지 합치니 82%까지 올라갔습니다. 100% 정확도는 오히려 과적합을 의미하기 때문에 애초에 기대하지 않았다고 밝혔고, APM이나 로그 데이터 같은 추가 텔레메트리를 더하면 정확도를 계속 개선할 수 있을 걸로 보고 있어요.

실무 적용 포인트

82%는 완벽한 수치는 아니지만, 수작업으로 살펴볼 트레이스 후보군을 전체의 18%로 좁혀주는 첫 단계 필터로 쓸 만합니다. 실제 고객이 남긴 좋아요, 싫어요 데이터가 부족한 조직에서는 백스톱 용도로 특히 유용해요. 이 세션 분류 스킬은 Datadog Labs의 agent skills 리포지토리에서 바로 설치할 수 있고, 애플리케이션 전체를 샘플링하거나 개별 트레이스, 세션을 직접 라벨링하는 두 가지 모드를 지원합니다. Agent Observability 트레이스만 있어도 실행되고 RUM과 Audit Trail을 더할수록 품질이 올라가는 구조라, 데이터가 적은 초기 단계부터 도입해 점진적으로 정확도를 높이는 방식으로 접근하면 됩니다.

자주 묻는 질문

ai 에이전트 란 무엇인가요

사용자 요청을 이해하고 도구나 시스템과 상호작용하며 작업을 수행하는 AI 시스템을 말해요. Datadog Bits Chat처럼 대화형으로 작동하며 대시보드 조회, 메트릭 변경 같은 실제 작업까지 처리하는 경우가 많습니다.

ai 에이전트 성능은 어떻게 비교하나요

이번 사례처럼 사용자 만족도를 정량적으로 추론하는 방식이 하나의 비교 기준이 될 수 있어요. Datadog은 트레이스, RUM, Audit Trail 조합으로 78%에서 82%까지 정확도가 올라가는 것을 확인했고, 이런 텔레메트리 기반 평가 방법이 에이전트별 품질을 객관적으로 비교하는 근거가 됩니다.

sentry와 datadog 비교하면 어떤 차이가 있나요

원문에는 Sentry와의 직접 비교 내용은 없어요. 다만 이번에 공개된 것처럼 Datadog은 Agent Observability라는 전용 제품군으로 트레이스, RUM, Audit Trail을 통합 분석하는 기능을 갖추고 있다는 점이 특징입니다.

이 세션 분류 스킬은 어디서 쓸 수 있나요

Datadog Labs의 agent skills 리포지토리에 공개되어 있어서 Agent Observability 사용자라면 오늘부터 바로 설치해 쓸 수 있습니다. 자체 스킬을 만드는 출발점으로 활용하는 것도 가능해요.