BigQuery identity columns란, 고유 ID 자동생성으로 파이프라인 단순화하는 법

AS-IS: 서러게이트 키를 직접 관리하던 부담

데이터 엔지니어들은 데이터 적재를 매끄럽고 안정적으로 만들 방법을 늘 찾아왔어요. 지금까지는 테이블에 고유 식별자를 넣으려면 애플리케이션 로직이나 ETL 도구 단에서 미리 유니크 키 값을 계산해둬야 했습니다. 이 작업이 파이프라인 코드에 켜켜이 쌓이면서 유지보수 부담을 키우는 요인이 됐고요.

이번 발표: identity columns가 하는 일

Google Cloud는 이번에 BigQuery에 identity columns를 도입한다고 밝혔습니다. 컬럼을 정의하면 순차적인 64비트 정수 값을 자동으로 생성해서 테이블 내 고유 식별자를 관리하는 방식이에요. 설정 방법도 CREATE TABLE 문 안에서 GENERATED ALWAYS AS IDENTITY 또는 GENERATED BY DEFAULT AS IDENTITY 절을 쓰는 두 가지로 단순합니다. 새 행이 들어올 때마다 자동으로 고유 값이 부여되도록 표준 DML 작업과 통합돼 있고, INSERT든 MERGE든 기존 워크플로에 맞춰 유연하게 적용할 수 있다고 설명합니다.

실무 적용 포인트

ID 생성 책임을 BigQuery로 넘기면 데이터 파이프라인의 복잡도를 크게 줄이고 인사이트 도출 작업에 더 집중할 수 있어요. 마케팅 데이터를 직접 적재하고 관리하는 팀이라면 다음을 점검해보면 좋습니다.

• 현재 ETL 코드나 애플리케이션 로직에서 서러게이트 키를 미리 계산하는 부분이 있는지 확인하기
• 신규 테이블 설계 시 GENERATED ALWAYS AS IDENTITY와 GENERATED BY DEFAULT AS IDENTITY 중 어떤 방식이 적합한지 검토하기
• INSERT, MERGE 작업이 많은 파이프라인에서 보일러플레이트 코드를 걷어낼 여지가 있는지 살펴보기

자주 묻는 질문

bigquery 란 무엇인가요

BigQuery는 Google Cloud가 제공하는 데이터 분석 플랫폼입니다. 이번에 발표된 identity columns는 이 플랫폼에 새로 추가된 기능으로, 테이블 컬럼에 순차적인 고유 정수 값을 자동 생성해주는 역할을 합니다.

identity columns는 어떻게 설정하나요

CREATE TABLE 문 안에서 GENERATED ALWAYS AS IDENTITY 또는 GENERATED BY DEFAULT AS IDENTITY 절을 지정하면 됩니다. 설정 이후에는 INSERT나 MERGE 같은 표준 DML 작업에서 별도 처리 없이 고유 값이 자동으로 채워집니다.

기존 방식과 뭐가 다른가요

기존에는 ETL 도구나 애플리케이션 코드에서 고유 키를 미리 계산해서 넣어야 했습니다. identity columns를 쓰면 그 계산과 관리를 BigQuery가 네이티브로 처리해서 SQL 코드가 더 간결해집니다.

bigquery vs motherduck 비교는 어떤가요

원문에는 MotherDuck과의 직접 비교 내용이 없습니다. 이번 발표는 BigQuery 자체의 신규 기능인 identity columns 소개에 한정돼 있어요.