데이터 인프라BigQuery
BigQuery Python UDF 로깅 활용법, 오류 행 추적과 복구
BigQuery 파이썬 함수에서 문제 행을 로그로 남기고 쿼리는 끝까지 돌리는 방법이에요
태그
‘데이터 파이프라인’ 태그가 달린 글 5건
BigQuery 파이썬 함수에서 문제 행을 로그로 남기고 쿼리는 끝까지 돌리는 방법이에요
AI 에이전트에게 말로 시키면 로그 적재부터 dbt 변환, 모델 학습, 매일 도는 자동 파이프라인까지 만들어 줘요
BigQuery가 테이블마다 겹치지 않는 번호를 자동으로 매겨주는 identity columns 기능을 내놨어요
데이터 AI 플랫폼 Databricks가 1750억 달러 밸류에이션으로 상장을 준비하면서 마케팅 기업들의 데이터 파이프라인 투자 전략을 재검토하게 되는 상황이에요
한 고객의 데이터 급증이 다른 모든 고객 서비스를 마비시키는 문제를 파이프라인을 여러 개로 나눠 고객별로 독립적으로 처리하는 방식으로 막는 거예요