데이터 리니지(데이터 계보)Data Lineage

데이터 리니지는 원천 시스템에서 시작해 수집, 변환, 결합, 적재를 거쳐 리포트나 모델 입력에 이르기까지 데이터가 지나온 경로를 메타데이터로 남긴 것입니다. 테이블 단위로 '어느 테이블이 어느 테이블에서 만들어졌나'를 잡는 테이블 리니지와, 특정 열이 어떤 열들의 계산 결과인지까지 잡는 컬럼 리니지로 나뉘어요. 마케팅 대시보드의 전환 수가 갑자기 달라졌을 때 리니지가 있으면 GA4 원천인지 CRM 조인 단계인지 집계 쿼리인지를 거슬러 올라가 찾을 수 있습니다.

표준화도 진행됐어요. Airflow, Spark, dbt 같은 파이프라인 도구가 실행 중에 리니지 이벤트를 같은 형식으로 내보내게 하는 OpenLineage는 2021년 5월 LF AI & Data 재단에 들어가 2023년 7월 졸업 단계가 됐고, Spark와 Airflow, dbt 통합에서는 컬럼 수준까지 지원합니다. 클라우드 데이터 플랫폼은 리니지를 자동 수집하는 방향으로 가고 있어서, Google Cloud는 2026년 8월 Dataplex와 BigQuery에서 컬럼 계보를 따라 설명, 용어, 정책 태그를 하위 테이블에 자동 전파해 제안하는 거버넌스 에이전트 프로젝트를 공개했어요.

마케터에게 리니지가 중요해진 이유는 두 가지입니다. 하나는 AI 에이전트가 데이터를 직접 읽고 판단하는 시대에 '이 답의 근거 데이터가 어디서 왔나'를 사람이 검증할 수 있어야 한다는 점이고, 다른 하나는 규제예요. 개인화 가격 책정에 어떤 데이터를 썼는지 공개하라는 요구처럼 감독 기관이 데이터 사용 경로를 묻기 시작해서, CDP에 들어온 동의 기반 데이터가 어느 캠페인까지 흘러갔는지 리니지로 답할 수 있어야 합니다.