Databricks 데이터 품질, 파이프라인 정상에도 숨는 문제 탐지법

파이프라인이 정상인데 데이터가 틀리는 이유

영업 담당 VP가 AI 에이전트에게 지난 분기 매출을 물었는데 숫자가 이상하다는 사례가 소개됩니다. 쿼리도 정상, 파이프라인 작업도 전부 완료, 로그에도 에러가 없었지만 실제로는 테이블이 며칠째 평소보다 22% 적은 행을 적재하고 있었고 핵심 필드 세 개는 거의 절반이 null이었어요. 원문은 이런 문제의 원인으로 소스나 설정 변경, 스케줄링이나 의존성 변경, dbt 모델 같은 변환 로직 변경, 스키마 드리프트를 꼽습니다. 각 경우 모두 파이프라인 작업은 에러 없이 끝나기 때문에 파이프라인 모니터만으로는 절대 잡히지 않는다는 점이 핵심이에요.　　

네 가지 체크 카테고리로 나눠 본다

원문은 데이터 품질 체크를 테이블 단위(신선도, 행 수로 적재 누락이나 볼륨 변화 탐지), 컬럼 단위(널값 비율, 유니크성, 카디널리티, 통계 분포로 겉보기엔 멀쩡한 테이블 속 미세한 변화 탐지), 스키마 체크(컬럼 추가, 삭제, 이름변경, 타입변경을 직접 탐지), 커스텀 체크(내장 메트릭으로 표현 안 되는 비즈니스 규칙을 SQL로 직접 작성, 예시로 실패 주문 건수 카운트 쿼리)로 나눕니다. Datadog Data Observability는 이 네 가지를 Databricks를 포함한 여러 웨어하우스에서 지원해요.

이상 탐지와 임계값, 뭘 언제 쓰나

이상 탐지(anomaly detection)는 계절성과 추세를 포함한 과거 패턴을 학습하는 방식이라 시간에 따라 변하는 메트릭에 적합한데, 원문에 따르면 훈련에 3일에서 7일 정도의 과거 데이터가 필요하고 그 기간 동안은 보수적인 경계값을 둔 임계값 모니터를 백스톱으로 병행하는 게 좋다고 합니다. 반대로 임계값 모니터는 '테이블은 1만 행 이상, 특정 필드 null 비율 5% 미만' 같은 고정된 비즈니스 규칙이 있을 때 적합해요. 원문은 일반 원칙으로 '하드하고 변하지 않는 한계치로 표현할 수 있는 게 아니면 이상 탐지를 우선하라'고 권합니다. 새 테이블처럼 이상 탐지 모델이 학습할 과거 데이터가 부족한 경우엔 임계값 모니터로 시작하는 것도 방법이에요.

알림 이후 원인 추적과 노이즈 관리

모니터링 범위를 넓힐 때는 가장 중요한 테이블, 다운스트림 의존성이 많은 테이블부터 시작하고 스키마나 테이블, 커스텀 차원(지역 등)으로 모니터를 그룹화해 하나의 모니터가 여러 테이블을 커버하도록 구성할 수 있습니다. 그룹 모니터는 깨진 그룹마다 개별 알림을 보내는 멀티 알림 방식과, 전체를 하나로 묶는 심플 알림 방식 중 선택해요. 알림이 뜬 뒤에는 lineage 뷰와 Bits AI, Datadog MCP Server로 연결된 AI 어시스턴트로 원인을 추적하는 방법이 소개됩니다. 컬럼 메트릭이나 커스텀 SQL 체크는 웨어하우스에 직접 쿼리를 날리는 방식이라 컴퓨트 비용과 쿼리 지연이 발생할 수 있다는 점도 짚고 있어요.

자주 묻는 질문

bigquery 란

구글이 제공하는 서버리스 클라우드 데이터 웨어하우스예요. 원문에서는 Datadog Data Observability가 데이터 품질 체크를 지원하는 대상 중 하나로 언급됩니다.

mcp 란

AI 모델이 외부 도구나 데이터 소스와 표준화된 방식으로 연결되도록 하는 프로토콜이에요. 원문에서는 Datadog MCP Server가 AI 어시스턴트와 연결돼 데이터 품질 알림의 원인을 추적하는 데 쓰인다고 소개됩니다.

마케팅 데이터 분석 툴 고를 때 뭘 봐야 하나

원문 기준으로 보면 파이프라인이 정상 작동하는지 보는 모니터링과, 테이블 안 실제 데이터가 올바른지 보는 데이터 품질 모니터링은 별개의 기능이라는 점을 확인하는 게 중요해요. Databricks 같은 웨어하우스를 쓰는 조직이라면 이 두 가지를 모두 커버하는지 체크해 보시는 걸 권합니다.

sentry datadog 비교

이번 원문은 Sentry와의 비교를 다루지 않고, Datadog Data Observability의 데이터 품질 체크 기능(테이블, 컬럼, 스키마, 커스텀 SQL)만 설명합니다. 비교가 필요하면 각 도구의 데이터 품질 모니터링 지원 범위를 별도로 확인해야 해요.