BigQuery란 무엇인가, Google Cloud Lakehouse 카탈로그와 Databricks Unity 연동 사례로 보는 멀티엔진 전략

AS-IS 왜 카탈로그가 병목이었나

레이크하우스 아키텍처에서 Apache Iceberg 같은 오픈 포맷을 쓰면 여러 엔진이 같은 데이터를 공유할 수 있는데요, 이때 테이블 포인터를 관리하고 원자적 커밋을 처리하며 테이블 위치의 단일 진실 공급원(single source of truth) 역할을 하는 게 바로 카탈로그예요. 원문에 따르면 전통적인 스케일업 관계형 데이터베이스는 SQL과 ACID 트랜잭션을 제공하지만 동시 읽기/쓰기 부하가 커지면 CPU, 메모리, 스토리지, 커넥션 한계에 부딪히고, 수동 샤딩을 하려면 운영 부담이 크게 늘어납니다. 반대로 스케일아웃 시스템은 최종 일관성(eventually consistent)에 머물거나 관리가 어렵거나 엔터프라이즈 수준이 아닌 경우가 많다고 지적하고 있어요. 에이전트가 반복적으로 소량 쿼리를 대량으로 쏟아내는 환경에서는 이 트레이드오프가 특히 문제가 됩니다.

이번 내용 Spanner 기반 카탈로그와 타사 연동

Google Cloud는 이 문제를 풀기 위해 Lakehouse runtime catalog를 Spanner 위에 구축했다고 밝혔습니다. Spanner는 관계형 SQL과 다중 테이블 ACID 트랜잭션을 NoSQL급 수평 확장성과 결합한 데이터베이스인데요, 리전 구성으로 최대 99.99% 가용성을 보장하고 수동 샤딩 없이 데이터 볼륨과 쿼리 부하에 따라 자동으로 데이터를 분할, 재배치합니다. 트랜잭션은 serializable하게 처리돼 데이터베이스 내 트랜잭션 순서와 클라이언트가 관찰하는 커밋 순서가 일치한다고 설명하고 있어요. 이 카탈로그는 Databricks Unity, Snowflake Horizon, AWS Glue와 vended credentials, OIDC token exchange를 지원하는 양방향 연동이 가능하고, 등록된 테이블은 BigQuery, Managed Spark, 오픈소스 엔진에서 표준 REST 인터페이스로 바로 조회할 수 있습니다. 실제 사례로 Etsy가 이 카탈로그로 마이그레이션해 파이프라인 쿼리 속도를 60% 높였다고 소개됐어요.

실무 적용 포인트

Databricks Unity Catalog를 핵심 메타데이터 레이어로 쓰고 있다면 당장 교체할 필요는 없습니다. 원문이 강조하는 건 federation이에요. 즉 Unity에 등록된 테이블을 Google Cloud 쪽 vended credentials, OIDC token exchange로 가져와 BigQuery나 Managed Spark에서 바로 쿼리할 수 있다는 점을 체크해보세요. 멀티클라우드로 데이터가 흩어져 있는 조직이라면 다음을 점검해볼 만합니다.

• 지금 쓰는 카탈로그가 Iceberg REST Catalog 규격을 준수하는지, federation이 가능한지
• 에이전트 기반 쿼리가 늘어날 때 카탈로그가 원자적 커밋과 동시성 제어를 어떻게 처리하는지
• compaction, snapshot expiration, manifest rewriting 같은 테이블 유지보수 파이프라인을 별도로 운영 중인지
• credential vending으로 스토리지 접근 권한을 분리할 수 있는지

Google Cloud는 Knowledge Catalog와 연동해 Iceberg 테이블에 대한 검색, 리니지, 인사이트를 기본 제공한다고도 설명하는데, 이는 에이전트에 신뢰 가능한 컨텍스트(trusted context)를 주는 용도로 쓰인다고 밝히고 있어요.

자주 묻는 질문

BigQuery란 무엇인가요

BigQuery는 Google Cloud의 서버리스 데이터 웨어하우스 겸 쿼리 엔진이에요. 이번 Lakehouse runtime catalog와 연동되면 Iceberg 테이블을 BigQuery에서 직접 읽고 쓸 수 있습니다.

MCP란 무엇인가요

이번 원문에는 MCP(Model Context Protocol) 관련 내용이 없어요. 원문은 Apache Iceberg REST Catalog 규격과 Spanner 기반 카탈로그를 다루고 있습니다.

Databricks Unity Catalog와 Google Lakehouse runtime catalog는 어떻게 다른가요

둘 다 Iceberg 테이블을 관리하는 카탈로그라는 점은 같지만, 원문에 따르면 Lakehouse runtime catalog는 Spanner 기반으로 최대 99.99% 가용성을 제공하고 Unity Catalog와는 경쟁 관계가 아니라 vended credentials와 OIDC token exchange로 양방향 연동되는 관계예요.

CDP 뜻이 뭔가요

CDP는 Customer Data Platform의 약자로 고객 데이터를 통합 관리하는 플랫폼을 뜻해요. 이번 원문에서는 CDP를 직접 다루지 않고 데이터 레이크하우스의 테이블 카탈로그를 다루고 있습니다.