BigQuery 자동 최적화 2025년 성과, 쿼리 성능 35% 개선 사례와 실무 적용법

AS-IS: 쿼리 튜닝은 사람이 손으로 하던 일

지금까지 쿼리 성능 튜닝은 숙련된 개발자나 DBA가 실행 계획을 분석하고 스키마를 조정하고 쿼리 힌트를 추가하는 반복 작업이었어요. 데이터 양과 종류, 속도가 계속 폭증하는 상황에서 이 작업은 끝이 없고 비즈니스 속도를 갉아먹는 요인이었습니다. 특히 에이전트나 애플리케이션이 사용자 행동에 따라 자동으로 쿼리를 수천, 수만 개씩 생성하는 환경에서는 사람이 일일이 최적화하는 게 사실상 불가능해졌어요. 구글은 이런 배경에서 BigQuery를 데이터 웨어하우스에서 에이전트 AI 시대의 핵심 엔진으로 전환하는 작업을 진행해왔습니다.

이번 내용: 과거를 학습해 스스로 최적화하는 HBO

History-Based Optimizations는 기존의 정적 통계나 카디널리티 추정 방식이 복잡한 다중 테이블 조인이나 빠르게 변하는 데이터 앞에서 부정확해지는 한계를 넘어서려는 시도예요. 이 기능은 과거 쿼리 실행의 런타임 통계를 추적해 어떤 최적화가 효과적이었는지 기억하고, 같은 쿼리나 유사한 쿼리가 다시 실행될 때 자동으로 그 최적화를 적용합니다. 애플리케이션 재작성이나 SQL 수정, 스키마 변경이 전혀 필요 없고 사용자는 아무것도 하지 않아도 대시보드와 ELT 파이프라인, 에이전트 워크로드가 더 빨라져요.

안전장치도 눈여겨볼 부분입니다. 최적화를 적용한 뒤 시스템이 결과를 측정해서 기대한 개선이 나타나지 않거나 오히려 성능이 나빠지면 그 최적화를 즉시 철회하고 해당 쿼리에는 다시 시도하지 않는 자기 교정 구조를 갖췄어요. 한 대형 고객사는 이 기능으로 P90 실행 시간이 최대 50%, 슬롯 사용량이 최대 15% 줄었다고 보고했습니다.

이번 내용: 실행 엔진 자체를 개선한 Advanced Runtime

HBO 외에 실행 계층 자체를 개선한 Advanced Runtime도 함께 도입됐어요. 향상된 벡터화 처리는 최신 프로세서의 SIMD 명령어 효율을 활용해서 중복 연산을 자동으로 줄이고, 사전 인코딩이나 런렝스 인코딩된 데이터를 네이티브로 처리합니다. 이를 통해 해당되는 쿼리를 최대 10배까지 가속하고 전체 슬롯 시간을 최대 40% 줄이는 효과를 냈어요.

짧은 쿼리에 대한 최적화도 별도로 도입됐습니다. 초당 수천 개의 쿼리가 쏟아지는 고동시성 BI 대시보드나 에이전트 애플리케이션 환경에서 분산 처리 오버헤드가 병목이 되는데, BigQuery는 이런 짧은 쿼리를 다른 쿼리에 영향을 주지 않으면서 자동으로 가속합니다. 그 결과 짧은 쿼리의 슬롯 사용량이 최대 10배 낮아지고 P99 지연시간이 1초 미만으로 떨어졌으며, 일부 고객 워크로드에서는 처리량이 최대 3배 높아지는 사례도 관측됐어요.

실무 적용 포인트

이 모든 최적화는 Apache Iceberg 같은 오픈 테이블 포맷을 쓰는 레이크하우스 아키텍처에서도 동일하게 적용됩니다. 네이티브 캐패시터 저장 포맷이든 Iceberg의 parquet 기반 데이터든 필터 푸시다운, 컬럼 메타데이터 인덱스(CMETA) 프루닝, 페이지 스키핑과 비동기 읽기 같은 최적화를 똑같이 받을 수 있어요. 또한 슬롯초 단위 과금 방식과 결합된 Fluid Scaling 오토스케일러는 평균 최대 34%의 비용 절감 효과를 냈고, 하루 1페타바이트 이상의 데이터를 처리하고 월 3조 건 이상의 입찰을 관리하는 애드테크 기업 RISE는 이 기능으로 인프라 비용을 25% 줄였다고 밝혔습니다.

실무자 입장에서는 이번 업데이트가 별도 마이그레이션이나 코드 수정 없이 자동으로 적용된다는 점을 확인하고, 기존 대시보드나 파이프라인의 슬롯 사용량과 실행 시간 지표를 최적화 전후로 비교해보는 정도의 점검이면 충분합니다. 초당 수천 건의 쿼리를 던지는 에이전트 기반 자동화 시스템을 구축 중이라면 인프라 비용 부담이 이전보다 줄어들 가능성이 큽니다.

자주 묻는 질문

ai agent란 무엇이고 BigQuery와 무슨 관계인가요

ai agent는 사람의 개입 없이 스스로 판단해 작업을 수행하는 소프트웨어를 뜻해요. 원문에서는 데이터 플랫폼이 인텔리전스 시스템에서 액션 시스템으로 진화하면서 분석 워크로드가 사람이 하루 몇 번 쿼리를 날리는 방식에서 에이전트가 분당 수천 개 쿼리를 던지는 방식으로 바뀌고 있다고 설명합니다. BigQuery는 이런 에이전트가 생성하는 대량의 쿼리를 사람 손 없이 자동으로 최적화하도록 설계됐습니다.

BigQuery의 자동 최적화는 별도 설정이 필요한가요

아니요, 원문에 따르면 History-Based Optimizations는 애플리케이션 재작성이나 SQL 수정, 스키마 변경이 전혀 필요 없습니다. 사용자는 아무 조치를 하지 않아도 반복되는 대시보드와 파이프라인이 자동으로 빨라집니다.

성능 개선 수치는 어느 정도인가요

원문에 따르면 2025년 한 해 동안 업계 표준 벤치마크 기준으로 쿼리 성능이 최대 35% 개선되고 슬롯 사용 비용이 최대 40% 절감됐습니다. 벡터화 개선으로는 해당 쿼리가 최대 10배 가속됐고, 짧은 쿼리는 슬롯 사용량이 최대 10배 줄었습니다.

Apache Iceberg 같은 오픈 포맷에서도 같은 효과를 볼 수 있나요

네, 원문은 BigQuery의 성능 개선이 네이티브 저장 포맷이든 Iceberg 테이블이든 동일하게 작동한다고 밝혔습니다. 필터 푸시다운과 CMETA 프루닝, 벡터화 처리 같은 기능을 오픈 포맷에서도 동일하게 자동으로 적용받을 수 있어요.