BigQuery 경계 없는 Lakehouse란, Databricks, Snowflake 데이터 AI 에이전트 연결법

AS-IS: 데이터가 흩어지면 ETL 비용이 쌓인다

기존에는 AWS, Databricks, Snowflake 같은 서로 다른 클라우드에 데이터가 흩어져 있으면 분석하려고 매번 데이터를 옮기거나 복제해야 했어요. 원문은 이걸 '크로스 클라우드 세금(cross-cloud tax)'이라고 표현하는데, 높은 이그레스 비용과 네트워크 지연, 취약한 ETL 파이프라인이 그 실체입니다. AI 에이전트를 상시 가동해 공급망을 모니터링하거나 이상 징후를 잡아내려면 데이터 전체에 접근해야 하는데, 전통적인 아키텍처는 비용도 높고 보안과 거버넌스도 파편화돼 있어서 이게 쉽지 않았습니다.

이번 발표: Iceberg REST 카탈로그 연합과 Cross-Cloud Interconnect

이번에 프리뷰로 공개된 카탈로그 연합(catalog federation)은 AWS Glue, Databricks Unity, Snowflake Horizon과 BigQuery, Managed Service for Apache Spark, 그 밖의 Iceberg 호환 엔진 사이에 안전한 양방향 접근을 제공합니다. 이 개방형 접근은 애플리케이션 레이어까지 확장되는데 SAP, Salesforce, Workday 같은 SaaS 애플리케이션과 제로카피(zero copy) 통합을 지원해서 BigQuery가 이들 플랫폼의 라이브 애플리케이션 데이터를 복잡한 ETL 없이 직접 쿼리할 수 있어요. 여기에 Cross-Cloud Interconnect라는 전용 사설 회선이 더해져서 공용 인터넷보다 일관된 대역폭과 낮은 지연을 제공하고, AWS 데이터 접근 시 가변 이그레스 비용이 없도록 설계됐습니다(단, 시간당 상호연결 서비스 요금은 별도로 부과돼요).

Knowledge Catalog: 에이전트가 할루시네이션 없이 판단하게 만드는 컨텍스트 엔진

AI 에이전트가 할루시네이션 없이 정확한 결정을 내리려면 원시 기술 메타데이터만으론 부족하고 깊은 비즈니스 컨텍스트가 필요합니다. Knowledge Catalog는 AWS Glue, Databricks Unity Catalog, Snowflake Horizon과 자동 동기화하면서 이 피드들을 수집해 메타데이터를 집계, 추출, 인덱싱하고 원시 스키마를 명확한 비즈니스 용어와 검색 가능한 컬럼 단위 계보(lineage)로 번역합니다. 스키마가 바뀌면 비즈니스 의미도 즉시 업데이트되기 때문에 데이터 이관 파이프라인에 드는 비용과 오버헤드를 줄이고, 에이전트에 명확한 시맨틱 레이어와 계보 추적을 제공해 신뢰할 수 있는 AI 의사결정을 지원합니다.

실무 적용 포인트: Gemini Enterprise 연동과 비용 구조

Google Cloud Data Agent Kit과 Conversational Analytics API를 결합하면 경계 없는 Lakehouse 위에서 동작하는 커스텀 데이터 에이전트를 만들어 Gemini Enterprise에 바로 게시할 수 있어요. 이렇게 되면 비즈니스 사용자가 정적 대시보드 대신 자연어로 다중 클라우드 데이터셋을 즉시 질의하고 시각화하는 셀프 서비스 분석이 가능해집니다. 비용 측면에서는 Cross-Cloud Interconnect와 제로카피 공유로 예측 가능한 정액 요금에 원격 데이터셋을 쿼리하고, Knowledge Catalog가 프롬프트마다 필요한 최소한의 비즈니스 컨텍스트만 걸러서 제공해 토큰 낭비와 불필요한 추론 루프를 막아줍니다. 원문에 따르면 BigQuery의 비용 최적화된 내장 AI 함수를 쓴 고객들은 토큰 소비량이 230배 줄었다고 합니다.

자주 묻는 질문

BigQuery란 무엇인가요

BigQuery는 Google Cloud의 데이터 분석 플랫폼으로, 이번 발표에서는 Apache Iceberg 기반 경계 없는 Lakehouse의 핵심 쿼리 엔진 역할을 합니다. AWS, Databricks, Snowflake 등 다른 클라우드의 데이터를 옮기지 않고도 BigQuery에서 직접 쿼리할 수 있게 하는 것이 이번 업데이트의 핵심이에요.

AI 에이전트란 무엇인가요

원문에서 AI 에이전트는 정적 보고서를 기다리는 대신 상시 가동되며 실시간 추론 루프를 돌려 공급망을 모니터링하거나 이상 징후를 잡아내고 비즈니스 워크플로를 실행하는 자율 시스템으로 설명됩니다. 이런 에이전트가 제대로 작동하려면 전체 데이터 자산에 접근하고 언제 어떤 데이터를 쓸지 판단할 컨텍스트가 필요한데, 경계 없는 Lakehouse와 Knowledge Catalog가 이 역할을 지원합니다.

BigQuery와 Databricks는 어떻게 다른가요

이번 발표에서 BigQuery와 Databricks는 경쟁 관계가 아니라 카탈로그 연합으로 연결되는 관계로 그려집니다. BigQuery가 Databricks Unity Catalog와 양방향으로 연동돼 Databricks에 있는 Iceberg 데이터를 BigQuery에서 직접 쿼리하거나 반대로 BigQuery에서 만든 데이터셋을 Databricks 쪽으로 공유할 수 있어요.

경계 없는 Lakehouse는 실무에 어떤 변화를 가져오나요

마케팅이나 분석팀이 AWS Glue, Databricks, Snowflake에 흩어진 데이터를 통합하려고 별도 ETL 파이프라인을 구축할 필요가 줄어듭니다. Gemini Enterprise와 결합하면 비즈니스 사용자가 자연어로 다중 클라우드 데이터를 탐색하는 셀프 서비스 분석 환경도 가능해져요.