Databricks Unity 연합 Google Lakehouse, AI 에이전트 데이터 구축 전략

실무 맥락: 흩어진 데이터와 에이전트 정확도

에이전트를 운영에 올리려는 기업의 고민은 보통 데이터가 클라우드와 SaaS에 흩어져 있다는 점이에요. 원문은 이를 데이터 이동, 커넥터 이어 붙이기, 변동 egress 요금이라는 세 가지 부담으로 짚습니다. 원문이 제시한 해법은 데이터를 옮기는 대신 Iceberg 형식 위에서 한 곳의 거버넌스 기반을 만드는 방식입니다.

이번 발표: borderless Lakehouse

핵심 내용은 다음과 같습니다.

• cross-cloud interconnect와 캐싱: AWS와 Azure 대상으로 GA예요. 프라이빗하고 안전한 연결로 클라우드 간 조회가 가능하고, 변동 egress 요금은 0입니다. 원격 클라우드 데이터를 조회하면 가져온 데이터 블록을 Google Cloud 안에 자동으로 캐싱합니다.
• 카탈로그 연합: Databricks Unity, Snowflake Horizon, AWS Glue와 오픈 Iceberg catalog federation을 지원하고, SAP, Workday, Salesforce와는 zero-copy 통합을 제공해요.
• Gemini 연동: 비즈니스 사용자가 자연어로 클라우드에 걸친 레코드를 조회할 수 있습니다.
• AlloyDB: Cloud Storage의 Iceberg 테이블을 ETL 없이 직접 조회하고, 운영 데이터와 과거 Lakehouse 데이터를 하나의 PostgreSQL 쿼리로 조인합니다. 집계 쿼리는 Amazon의 PostgreSQL 호환 서비스보다 최대 7배 빠르다는 것이 구글의 주장이에요.
• Spanner Omni: 온프레미스, 엣지, 멀티클라우드 환경을 아우르는 GA 제품입니다.

사례로 Delivery Hero 계열 talabat이 Amazon S3 tables의 단일 복사본 Iceberg 데이터를 BigQuery로 연합해 데이터 이동 비용을 약 40% 줄였다고 소개했습니다.

Knowledge Catalog: 에이전트 컨텍스트 계층

Knowledge Catalog는 구글의 내부 벤치마크에서 에이전트 정확도를 약 4배 높이고, 지연시간은 최대 33%, 토큰 사용량은 최대 75% 줄였다고 합니다. 외부 검증이 아닌 내부 수치예요.

• self-learning enrichment(프리뷰): Google Workspace, GitHub, Jira, Confluence, SharePoint 같은 비정형 소스를 지속적으로 분석해 컨텍스트 공백을 메워요. 도메인 지식은 Open Knowledge Format(OKF) 컨텍스트 세트로 묶입니다.
• 새 studio 경험(프리뷰): 대화형 UI로 컨텍스트를 탐색하고, 제안된 보강 내용을 버전 관리와 롤백까지 갖춘 상태로 검토하고 승인합니다.
• Gemini 기본 적용(프리뷰): BigQuery, AlloyDB, Cloud SQL, Spanner를 연결하면 SQL을 생성하기 전에 비즈니스 용어를 해석하고 신뢰 테이블과 조인 경로를 찾아요. 각 사용자의 접근 권한 안에서 동작합니다.
• semantic model(GA): BigQuery, Looker(LookML), Databricks, Snowflake, dbt, SAP의 의미 모델을 데이터 이동 없이 에이전트의 근거로 씁니다. 순매출이나 이탈률 같은 지표를 비즈니스 팀이 쓰는 동일한 공식으로 계산하게 하는 구조예요.

실무 적용 포인트

Databricks 환경 기준으로 점검할 항목을 정리해 봤어요.

• Unity Catalog에 등록된 Iceberg 데이터가 어디에 있는지 먼저 확인하세요. borderless Lakehouse는 개방형 Apache Iceberg 형식을 기반으로 하며, Databricks Unity, Snowflake Horizon, AWS Glue와의 개방형 Iceberg 카탈로그 연합을 지원합니다.
• 클라우드 간 조회가 잦다면 egress 요금 구조를 점검해 보세요. 원문은 AWS와 Azure 구간의 변동 egress 요금이 0이라고만 밝힙니다.
• 지표 정의가 흩어져 있다면 semantic model 연결부터 시작하는 편이 에이전트가 틀린 정의를 쓰는 위험을 줄여요.
• 프리뷰 기능(self-learning enrichment, studio, Gemini 기본 적용)은 운영 전에 검증 범위를 따로 잡아야 합니다.

자주 묻는 질문

Databricks 데이터를 Google 에이전트에서 쓰려면 데이터를 옮겨야 하나요?

원문에 따르면 옮기지 않아도 됩니다. Databricks Unity와 오픈 Iceberg catalog federation을 지원하고, Databricks의 semantic model도 데이터 이동 없이 에이전트의 근거로 쓸 수 있어요. 다만 세부 구성 방법은 원문에 나오지 않습니다.

AI 에이전트 정확도는 얼마나 올라가나요?

Google의 내부 벤치마크 기준으로 Knowledge Catalog 적용 시 정확도가 약 4배, 지연시간은 최대 33%, 토큰 사용량은 최대 75% 개선됐다고 합니다. 구글 자체 측정치라 자사 환경에서 직접 검증이 필요해요.