Datadog Kafka Console란, 카프카 장애 원인 통합 진단 사용법

AS-IS: 카프카 장애 진단이 왜 번거로웠나

Apache에 따르면 포춘 100대 기업의 80%가 이벤트 스트리밍 플랫폼으로 카프카를 씁니다. 문제는 체크아웃 이벤트 토픽에서 컨슈머 랙이 SLA를 넘었을 때인데요, 원인이 오프라인 파티션인지, 컨슈머가 멈춘 건지, 설정이 바뀐 건지, 아니면 컨슈머가 역직렬화할 수 없는 페이로드가 들어온 건지 알아내려면 카프카 상태, 애플리케이션 동작, 설정과 스키마 변경, 메시지 내용까지 여러 레이어를 일일이 연결해야 했습니다.

이번 내용: 한 화면에서 원인 좁히기

Kafka Console은 Datadog Agent가 카프카 클러스터에 연결해 상태와 성능 데이터를 직접 수집하고, Clusters, Topics, Brokers 뷰에서 브로커, 토픽, 파티션, 컨슈머 그룹 정보를 보여줍니다. 오프라인 파티션이나 컨슈머 랙이 시간, 바이트 기준 보존 한도에 근접하는 상황 같은 권장 모니터 템플릿도 제공해서 대시보드를 사람이 지켜보지 않아도 위험 조건이 생기면 알림을 받을 수 있어요. 토픽 뷰에서는 파티션 상태와 처리량, 파티션별 최대 컨슈머 랙을 확인할 수 있고 랙이 보존 한도에 다가가는지도 보여줘서 처리 지연이 데이터 손실 위험으로 번지는 시점을 짐작이 아니라 확인할 수 있습니다. 설정과 스키마 변경 이벤트는 랙, 처리량 그래프 위에 함께 표시돼서 변경 직후 랙이 늘기 시작했다면 브로커나 컨슈머를 의심하기 전에 그 변경부터 살펴볼 근거가 생깁니다. 애플리케이션 맥락이 있으면 토픽 뷰에 프로듀서, 컨슈머 서비스가 나열되고 Software Catalog의 담당 팀, 저장소, 온콜 엔지니어, Slack 채널 같은 소유권 정보와 연결됩니다.

메시지 조회와 AI 연동

메트릭만으로는 컨슈머가 왜 멈췄는지 알 수 있어도 어떤 메시지가 문제를 일으켰는지는 알기 어렵습니다. 권한이 있는 사용자는 Messages 뷰에서 파티션과 오프셋으로 메시지를 조회해 페이로드를 직접 확인할 수 있는데요, 스키마 버전 이력과 함께 보면 예상치 못한 메시지 구조나 스키마 변경이 원인인지 판단하는 데 도움이 됩니다. 다만 메시지 조회는 페이로드에 민감한 데이터가 담길 수 있어서 별도 권한이 필요합니다. 클러스터 모니터링용 카프카 권한 외에 Datadog Agent 사용자가 해당 토픽에 읽기 권한을 가져야 하고, Remote Configuration을 조직, Agent, API 키 레벨에서 활성화해야 하며, 메시지를 조회하는 Datadog 사용자는 Data Streams Monitoring Capture Messages 권한이 필요합니다. 모니터 안에서 'Investigate with Bits'를 클릭하면 Bits AI가 조사 리포트와 가설 트리, 권장 해결책을 몇 분 안에 제시합니다. Kafka Console의 모든 데이터는 Datadog MCP Server로도 접근 가능해서 브로커나 복제, 직렬화의 세부 사항을 몰라도 "내 토픽이 왜 랙이 걸리나요?"라고 물어보면 됩니다.

실무 적용 포인트

Kafka Console은 클러스터에서 직접 데이터를 읽기 때문에 프로듀서, 컨슈머 애플리케이션 코드를 계측하지 않아도 클러스터 상태를 모니터링할 수 있어요. Data Streams Monitoring(DSM)은 애플리케이션 계측으로 프로듀서, 컨슈머 서비스 간 데이터 흐름과 지연을 매핑하는 보완 관계입니다. 카프카 기반 파이프라인을 운영하는 팀이라면 다음을 체크해보세요.

• 오프라인 파티션, 컨슈머 랙의 보존 한도 근접 조건에 권장 모니터 템플릿을 먼저 적용했는가
• 메시지 조회 권한(Agent 읽기 권한, Remote Configuration, Capture Messages 권한)을 사전에 설정했는가
• Software Catalog 연동으로 문제 서비스의 담당 팀과 온콜 정보가 실제로 연결되는가
• DSM을 함께 쓸지, Kafka Console 단독으로 인프라 레벨만 볼지 결정했는가

자주 묻는 질문

Kafka Console과 Data Streams Monitoring의 차이는 무엇인가요

Kafka Console은 카프카 클러스터에서 직접 상태 데이터를 수집해서 브로커, 토픽, 파티션 단위 문제를 보고, DSM은 프로듀서, 컨슈머 애플리케이션을 계측해 서비스 간 데이터 흐름과 지연을 매핑합니다. 둘은 독립적으로 쓸 수도 있고 함께 쓰면 브로커부터 애플리케이션까지 이어지는 맥락을 얻을 수 있어요.

메시지 내용까지 확인하려면 어떤 권한이 필요한가요

클러스터 모니터링용 카프카 권한 외에 Datadog Agent 사용자의 토픽 읽기 권한, 조직, Agent, API 키 레벨의 Remote Configuration 활성화, 그리고 사용자의 Data Streams Monitoring Capture Messages 권한이 필요합니다. 페이로드에 민감한 데이터가 있을 수 있어서 별도로 관리됩니다.

Bits AI나 MCP Server로 뭘 할 수 있나요

모니터에서 'Investigate with Bits'를 누르면 조사 리포트와 가설 트리, 권장 해결책을 받을 수 있고, Datadog MCP Server를 통해 원하는 AI 에이전트에게 "왜 토픽이 랙이 걸리나요" 같은 질문을 자연어로 던지면 카프카 데이터를 근거로 답을 받을 수 있습니다.

설정 변경이 랙 증가의 원인인지 어떻게 확인하나요

Kafka Console은 설정과 스키마 변경 이벤트를 랙, 처리량 그래프 위에 함께 표시해줘서, 변경 시점 직후 랙이 늘었다면 그 변경 항목을 열어 무엇이 바뀌었는지 바로 확인할 수 있습니다.