BigQuery란, Alteryx Live Query로 인보이스 PDF 자동화하는 법

AS-IS: 인보이스 처리가 왜 번거로웠나

재무팀과 운영팀은 보통 거래처에서 오는 인보이스 PDF를 수작업으로 확인해 왔어요. 인보이스 번호 형식이 제각각이고 데이터가 일관되지 않다 보니, 데이터팀이 수동으로 추출하거나 여러 도구를 거쳐 웨어하우스로 옮기는 식으로 처리했는데요, 이 과정에서 시간이 오래 걸리고 중복이나 금액 불일치가 자주 발생했습니다.

이번 내용: Live Query와 BigQuery의 결합

Live Query는 브라우저 기반으로 코드 한 줄 없이 데이터 파이프라인을 만들 수 있는 환경입니다. BigQuery와 짝을 이루면서 secure SQL pushdown을 지원하게 됐는데, 데이터 변환 로직을 네트워크로 이동시키지 않고 웨어하우스 안에서 직접 실행한다는 의미예요. 전체 워크플로는 Google Cloud Storage에 PDF를 적재하는 단계에서 시작합니다. Document Extract 도구가 사용자가 선택한 모델, 즉 Gemini나 Document AI로 구조화된 필드를 추출하고요. Document AI를 쓰면 ML.PROCESS_DOCUMENT, Gemini를 쓰면 AI.GENERATE 함수가 내부적으로 실행됩니다. 이후 Classify 도구가 AI.CLASSIFY로 추출된 텍스트를 제로샷 분류해 산업용품이나 사무용품 같은 사전 정의된 비즈니스 카테고리로 라벨을 붙입니다. 추출된 인보이스 번호는 공백이나 형식 차이 때문에 중복이 숨지 않도록 정규화 단계를 거치고, 이 데이터를 BigQuery에 이미 저장된 과거 인보이스 기록과 조인해서 일치하는 인보이스 번호가 있으면 잠재적 중복으로 플래그를 답니다. 이어서 formula 단계가 금액 불일치나 필수 필드 누락 같은 비즈니스 룰을 적용해 예외를 걸러내는데, 예시로는 invoice_amount가 net_amount와 tax_amount의 합과 일치하는지 확인하는 규칙이 소개됐어요. 최종적으로는 중복으로 플래그된 인보이스와, 검증, 라벨링을 마치고 미지급 처리 준비가 된 인보이스 두 가지 결과물이 나옵니다.

실무 적용 포인트

이 구조에서 브라우저는 워크플로를 설계하는 레이어이고, Alteryx One Platform Services가 요청 처리와 실행 계획을 조율하는 조율 레이어, Google Cloud가 거버넌스와 실행을 담당하는 레이어로 역할이 나뉩니다. 실무에 적용할 때 체크할 포인트는 다음과 같아요.

• 데이터가 BigQuery의 fine grained access policy 안에 머무르는지, 즉 웨어하우스 밖으로 데이터가 이동하지 않는 구조인지 확인합니다.
• 추출 모델을 Document AI로 쓸지 Gemini로 쓸지는 워크플로 설정에 따라 선택할 수 있다는 점을 기억해 둡니다.
• 예외 플래그 규칙(금액 불일치, 필수 필드 누락, 잘못된 합계 등)은 워크플로마다 다르게 설정할 수 있으니 재무팀 룰에 맞게 조정해야 합니다.
• 인터랙티브 설계 단계에서는 일부 문서만 미리보기로 처리되고, 실제 실행 시에는 전체 PDF 세트가 처리된다는 점도 워크플로 테스트 시 참고할 만합니다. Papa Johns의 엔터프라이즈 데이터 담당 부사장 Michael Wyant는 이 통합이 Google Cloud 환경에 자연스럽게 녹아든다고 언급했습니다.

자주 묻는 질문

BigQuery란 무엇인가요

BigQuery는 Google Cloud의 데이터 웨어하우스로, 대량의 데이터를 저장하고 SQL로 분석할 수 있는 서비스입니다. 이번 사례에서는 Alteryx Live Query와 연동되어 데이터 이동 없이 웨어하우스 안에서 직접 변환, 분석 작업을 처리하는 SQL pushdown 방식을 지원합니다.

Live Query와 BigQuery를 연동하면 뭐가 달라지나요

코드를 작성하지 않아도 브라우저에서 비개발자가 직접 문서 처리 파이프라인을 만들 수 있습니다. 데이터가 BigQuery 밖으로 이동하지 않아 거버넌스와 보안을 유지하면서 인보이스 추출, 분류, 대조, 예외 처리까지 자동화할 수 있어요.

인보이스 자동화에 어떤 AI 모델이 쓰이나요

문서에서 필드를 추출할 때 Document AI 또는 Gemini 중 사용자가 선택한 모델이 쓰입니다. Document AI를 선택하면 ML.PROCESS_DOCUMENT, Gemini를 선택하면 AI.GENERATE 함수가 BigQuery 안에서 실행됩니다.

이 워크플로로 어떤 예외를 걸러낼 수 있나요

인보이스 번호가 과거 기록과 일치하는 중복 건, 그리고 invoice_amount가 net_amount와 tax_amount의 합과 맞지 않는 금액 불일치 같은 예외를 자동으로 찾아 플래그를 답니다. 예외 규칙은 필수 필드 누락이나 잘못된 합계 검사 등 워크플로마다 다르게 구성할 수 있습니다.