엔터프라이즈 AI 도입, ROI 다음은 거버넌스: 금융권 사례로 보는 법

무슨 일이 일어나고 있나

최근 며칠 사이 엔터프라이즈 AI를 둘러싼 뉴스들이 한 방향을 가리키고 있어요. 따로 보면 제각각인데, 묶어 보면 '생성형 AI가 실험 단계를 졸업하고 운영 인프라가 되는 순간'을 보여주거든요.

Snowflake 보고서가 숫자로 분위기를 정리해줘요. 금융 서비스 기업의 68%가 생성형 AI에서 정량화된 긍정적 ROI를 확인하고 있고, 직원 78%는 AI 자동화가 일자리에 순 긍정적 영향을 줬다고 답했어요. 더 중요한 건 방향인데요, 업계가 GenAI 활용에서 Agentic AI, 즉 AI가 스스로 업무를 처리하는 단계로 진화하고 있다는 점이에요. 그리고 무려 92%의 금융회사가 자체 데이터로 LLM을 학습·조정·강화하고 있다는 대목이 핵심입니다.

이 추세를 가장 공격적으로 보여주는 사례가 BBVA예요. OpenAI와 전략적 연대를 맺고 ChatGPT Enterprise를 직원 10만 명에게 배포했고, 신용 분석·법무 자문·고객 만족도 분석 등에서 2만 개 이상의 커스텀 GPT를 운영 중이에요. 페루에서는 평균 처리 시간을 7.5분에서 1분으로 80% 줄였고, '더 에이트(The Eight)'라는 로드맵으로 고객 경험부터 위험 관리, 소프트웨어 개발까지 은행 전 계층을 AI 중심으로 재설계하고 있습니다.

공급 측에서도 발맞춰 움직여요. Anthropic은 Claude를 기업 요구에 맞게 커스터마이징·운영하도록 지원하는 Claude Corps를 내놨고, Adobe는 멀티채널 고객 데이터를 실시간 분석해 상호작용을 자동 조율하는 CX Enterprise Coworker를 출시했어요. 둘 다 '범용 챗봇'이 아니라 '기업 워크플로에 박히는 운영 도구'를 표방한다는 공통점이 있어요.

왜 중요한가

이 뉴스들을 한 줄로 꿰면 이렇게 됩니다. 경쟁의 축이 '모델 성능'에서 '데이터와 거버넌스'로 이동하고 있어요.

Snowflake가 강조한 92%라는 수치를 다시 볼게요. 거의 모든 금융사가 자체 데이터로 모델을 손보고 있다는 건, 더 이상 어떤 LLM을 쓰느냐가 차별점이 아니라는 뜻이에요. 같은 ChatGPT Enterprise나 Claude를 써도, 결과를 가르는 건 어떤 데이터를 어떻게 정제·통제해 모델에 먹이느냐예요. BBVA가 2만 개 커스텀 GPT를 운영할 수 있는 것도 결국 정돈된 사내 데이터와 접근 통제 체계가 받쳐주기 때문이거든요.

특히 Agentic AI로 넘어가면 거버넌스는 선택이 아니라 전제 조건이 돼요. AI가 사람의 확인 없이 신용 판단을 내리거나 고객 응대를 완결하는 단계에서는, 잘못된 데이터 접근이나 통제되지 않은 행동 하나가 곧장 금융 사고나 규제 위반으로 이어지니까요. Snowflake가 '데이터 거버넌스와 접근 통제가 Agentic AI 확대의 필수 조건'이라고 명시한 이유가 여기에 있어요.

여기에 독일 뮌헨 지역법원의 판정이 결정적 무게를 더해요. Google의 AI Overviews가 거짓 주장을 담을 때 Google이 책임진다고 본 건데요. 법원은 AI 생성 요약이 단순 검색 결과와 달리 새로운 콘텐츠를 합성·생성하는 '회사의 상업적 산물'이라 표현의 자유 보호 대상이 아니라고 판시했어요. 이 논리를 기업의 Agentic AI에 그대로 대입하면, AI가 만들어낸 결과물에 대한 책임이 도구 제공자와 운영 기업 모두에게 돌아온다는 신호예요. 즉, ROI가 입증될수록 책임도 함께 커지는 구조인 거죠.

실무에 주는 함의

실무자 입장에서 정리하면 세 가지예요.

첫째, PoC 자랑은 끝났어요. 68%가 ROI를 본다는 건 'AI 해봤다'가 더 이상 차별점이 아니라는 뜻이에요. 이제는 BBVA처럼 '주당 3시간 절감', '처리 시간 80% 단축'처럼 구체적 운영 지표로 말할 수 있어야 해요. 마케팅·CX 조직이라면 Adobe CX Enterprise Coworker 같은 도구를 도입할 때도 '캠페인 자동화 건수'가 아니라 '응답 속도·전환율·운영비 절감'으로 성과를 잡아야 설득력이 생겨요.

둘째, 데이터 정비가 곧 AI 경쟁력이에요. 같은 모델을 써도 결과가 갈리는 시대라, 고객 데이터·내부 문서·접근 권한을 누가 더 깨끗하고 통제 가능하게 다루느냐가 승부처예요. Agentic 도입을 검토한다면, 모델 선정보다 데이터 카탈로그·권한 설계·감사 로그 같은 기반을 먼저 점검하는 게 순서예요.

셋째, 책임 체계를 설계 단계에 넣어야 해요. 독일 판례는 'AI가 한 일이니 회사 책임이 아니다'라는 변명이 통하지 않는 방향을 보여줘요. AI가 고객에게 내보내는 메시지, 자동 생성 요약, 응대 답변에는 사실 검증·출처 기록·휴먼 인 더 루프 장치를 미리 넣어야 나중에 법적·평판 리스크를 막을 수 있어요.

리스크와 한계

물론 낙관만 할 일은 아니에요. Snowflake의 수치는 자사 고객·설문 기반이라 산업 전반을 그대로 대표한다고 보긴 어렵고, ROI를 본다는 응답과 전사적 성과는 다른 이야기예요. BBVA 사례도 대형 금융사의 자원과 데이터 성숙도가 받쳐줬기에 가능한 결과라, 중소 조직이 똑같이 따라가기엔 진입 장벽이 높아요.

또 독일 법원 판정처럼 규제·법적 환경은 아직 형성 중이에요. 이 판례가 확산되면 생성형 AI 검색·응대 도구 제공업체와 이를 운영하는 기업 모두 거짓·명예훼손 주장에 대한 노출이 커지는데요, 책임 소재가 도구사와 운영사 사이에서 어떻게 나뉠지는 여전히 불확실해요. Agentic AI가 확산될수록 이런 회색지대가 실무 리스크로 돌아올 가능성이 큽니다.

결국 지금 국면의 핵심 메시지는 분명해요. AI 도입 자체는 더 이상 경쟁우위가 아니고, 데이터를 통제하고 책임을 설계하는 역량이 다음 라운드를 가른다는 거예요.

자주 묻는 질문

엔터프라이즈 AI에서 모델 성능보다 중요한 것은?

데이터와 거버넌스예요. 거의 모든 금융사가 자체 데이터로 모델을 손보는 지금, 같은 LLM을 써도 결과는 '어떤 데이터를 어떻게 정제·통제해 먹이느냐'로 갈려요.

AI가 만든 결과물의 법적 책임은 누구에게 있나요?

독일 뮌헨 법원은 AI Overviews가 거짓을 담으면 Google이 책임진다고 봤어요. AI 요약은 '회사의 상업적 산물'이라는 논리예요. 도구 제공자와 운영 기업 모두에게 책임이 돌아올 수 있어요.

Agentic AI 도입 전 무엇을 점검하나요?

모델 선정보다 데이터 카탈로그·권한 설계·감사 로그 같은 기반이 먼저예요. AI가 고객에 내보내는 메시지엔 사실 검증·출처 기록·휴먼인더루프를 설계 단계부터 넣어야 법적·평판 리스크를 막아요.