BigQuery TabFM이란, SQL 한 줄로 이탈, 사기 예측하는 방법

AS-IS: 예측 모델 하나 만드는 데 시간이 오래 걸렸어요

이탈 예측이나 구매 의도, 사기 스코어링 같은 작업을 하려면 지금까지는 XGBoost, Random Forest, DNN 같은 라이브러리로 커스텀 모델을 만들어야 했습니다. 학습-튜닝-배포-재학습을 반복하는 사이클 자체가 복잡하고 시간이 많이 들었고요. 결측값 처리나 카테고리 인코딩 같은 피처 엔지니어링, 하이퍼파라미터 튜닝, 길고 비용이 드는 학습 과정, 그리고 전문 데이터 사이언스 인력이 필요하다는 오버헤드 때문에 실제로는 예측 모델을 의사결정에 충분히 활용하지 못하는 기업이 많았어요.

이번 발표: TabFM과 새 SQL 함수 두 가지

Google Cloud는 BigQuery에 TabFM을 프리뷰로 공개했습니다. 이 모델은 테이블형 데이터의 회귀, 분류에 특화된 사전학습 파운데이션 모델이고, in-context learning으로 라벨이 붙은 과거 데이터와 새 예측 대상 테이블을 SQL 함수 하나에 넣으면 바로 고품질 예측을 돌려줍니다. 별도의 학습, 튜닝, 배포 단계가 필요 없어요.

실제 사용은 AI.PREDICT와 AI.EVALUATE 두 함수로 이뤄집니다. AI.PREDICT는 학습 데이터와 예측 데이터를 넣은 쿼리 하나로 예측을 돌리는데, 타깃 라벨의 데이터 타입을 보고 분류인지 회귀인지 자동으로 판단해요. 결과에는 원래 예측 테이블의 모든 컬럼에 predicted_label, probability 같은 컬럼이 추가돼서 나옵니다. AI.EVALUATE는 테스트셋으로 성능을 바로 확인하는 함수로, 회귀에는 r2_score와 mean_absolute_error, 분류에는 precision, recall, f1 같은 표준 지표를 한 번에 뽑아줍니다.

내부적으로는 LLM이 프롬프트의 few-shot 예시로 태스크를 학습하는 것과 비슷하게, TabFM이 학습 테이블을 in-context 예시로 읽고 타깃 테이블의 예측을 한 번의 forward pass로 생성하는 구조예요. 대규모 추론 테이블을 처리할 때는 BigQuery가 분산, 병렬 추론을 수행하고, 지능적인 학습 데이터 샘플링과 분산 실행으로 리소스를 최적화해서 수백만 행의 추론 데이터를 분 단위로 처리할 수 있습니다. TabArena 벤치마크 평가에서는 기존 머신러닝 모델과 다른 테이블형 파운데이션 모델 모두를 앞서는 성능을 냈다고 밝혔어요.

실무 적용 포인트: TabFM과 XGBoost, 언제 뭘 쓸까

Google은 두 접근을 명확히 구분해서 제시합니다. TabFM은 머신러닝 전문성 없이 빠르고 고품질의 예측 인사이트가 필요할 때, 과거 데이터셋이 소규모에서 중간 규모일 때, 데이터가 자주 바뀌어서 모델을 자주 재학습해야 할 때, 그리고 대화형이나 에이전트 워크플로에서 온디맨드로 예측이 필요할 때 적합합니다. 반대로 데이터셋이 매우 크거나, 하이퍼파라미터를 완전히 커스텀 튜닝해야 하거나, 피처 수가 TabFM의 현재 한도를 넘거나, 어떤 피처가 예측에 가장 크게 기여했는지 설명하는 feature-importance 해석력이 필요하다면 XGBoost 같은 전통 모델을 써야 해요.

실무 체크리스트로 정리하면 다음과 같습니다.

• 이탈, 구매 전환, 사기 스코어링처럼 빠른 검증이 필요한 과제부터 TabFM으로 먼저 돌려보기
• 결측값, 카테고리 인코딩은 자동 처리되니 별도 파이프라인 구축 시간을 아끼기
• AI.EVALUATE로 예측 성능을 먼저 확인한 뒤 실제 의사결정에 반영하기
• 피처 수가 많거나 설명력이 꼭 필요한 모델은 여전히 XGBoost 등으로 병행 검토하기
• BigQuery MCP 서버와 결합해 에이전트 애플리케이션에 예측 기능을 붙이는 것도 고려하기

자주 묻는 질문

bigquery 란

BigQuery는 Google Cloud의 서버리스 데이터 웨어하우스로, SQL로 대용량 데이터를 분석하는 도구입니다. 이번에 추가된 TabFM은 이 BigQuery 안에서 SQL 함수만으로 예측 분석까지 처리할 수 있게 해주는 파운데이션 모델이에요.

ai agent란

AI 에이전트는 사람의 개입 없이 스스로 데이터를 확인하고 판단해서 작업을 처리하는 소프트웨어를 말합니다. 원문에서는 TabFM을 BigQuery MCP 서버와 결합하면 별도의 런타임이나 인프라 관리 없이 에이전트 애플리케이션에 예측 기능을 추가할 수 있다고 설명합니다.

bigquery vs motherduck 비교

원문에는 MotherDuck과의 직접 비교는 나오지 않습니다. 다만 원문은 TabFM과 XGBoost 같은 전통 모델을 언제 각각 써야 하는지는 명확히 구분해서 제시하고 있어요.

crm 마케팅 전략에 TabFM을 어떻게 쓸 수 있나

원문은 CRM 자체를 다루지 않지만, 이탈 예측이나 구매 의도 예측처럼 CRM 데이터 기반의 예측 분석 작업을 SQL 한 줄로 처리할 수 있다고 설명합니다. 데이터 사이언스 인력 없이도 예측 모델을 빠르게 검증해볼 수 있다는 점이 실무에서 활용 포인트예요.