마케팅 AI 활용 ROI 계산법, 검증 비용과 주니어 역량 손실까지 넣는 기준

무슨 일이 일어나고 있나

분야는 제각각이지만 최근 발표들은 같은 장면을 보여줍니다. AI가 결과물을 내는 속도를 사람과 조직의 검증 체계가 따라가지 못하는 장면이에요.

수학: 생산은 하루, 검증은 수년. OpenAI는 조합론, 여러 갈래의 기하학, 정수론, 위상수학, 확률과 통계역학, 수리물리 등을 아우르는 AI 생성 수학 결과 약 400건을 공개했습니다. 원고로는 700개가 넘고(719개), 양이 워낙 많아 GitHub 저장소 탐색 가이드까지 따로 냈어요. The Verge와 이야기한 36명이 넘는 수학자 가운데 여러 명은 약 40쪽짜리 목차와 초록만 훑는 데도 한 시간 가까이 걸렸다고 했습니다. 증명 보조 언어 Lean으로 형식 검증된 것은 상위 결과 300개로, 719개 원고 대비 약 42%예요. Imperial College London의 Kevin Buzzard 교수는 자기 전공인 대수적 정수론에서 눈에 띈 정리가 6개 정도였는데, 그마저 Lean 검증이 없었다고 했습니다. 그래서 "정확하지 않을 수도 있는 슬롭을 읽거나, 누군가 형식화해줄 때까지 기다려야 한다"고 말했어요.

마테크: 로드맵 95.3%, 운영 10.8%. 같은 조사에서 기업 3분의 2가 AI 전용 예산을 두고 있고, 95.3%가 AI 에이전트를 로드맵에 올렸습니다. 그런데 완전히 스케일업된 에이전트 프로젝트는 10.8%이고, 90% 가까이는 기획, PoC, 제한 운영 단계에 머물러 있어요. 코파일럿, 카피 작성과 편집, 데이터 관리와 분석, 영상 생성은 운영에 가깝고 ROI도 낫다고 응답했습니다. 반면 여정 최적화, 의사결정, 오디언스 선택, 캠페인 생성, 어트리뷰션, 로열티, 오퍼 에이전트는 아직 갈 길이 멀어요.

사람: 품질은 오르는데 판단력은 갈린다. Google Research는 11개 지식재산 로펌의 특허 변호사 133명으로 3개월 무작위 대조 실험을 했습니다. 각 로펌 인원의 3분의 2에게 당시 미공개였던 Google Labs 특허 작성 도구(현재 Gemini Notebook에 포함)를 줬어요. AI를 쓴 그룹의 작성 점수는 10일 차에 0.34 표준편차, 90일 차에 0.38 표준편차 올랐습니다. 그런데 AI 없이 기존 특허를 고치는 레드라이닝 과제에서는 결과가 달랐어요. 시니어는 0.45 표준편차 더 잘했지만, 주니어는 평균 향상이 없었고 점수가 아주 낮은 쪽과 좋은 쪽으로 갈렸습니다.

에이전트: 보상을 좇다 선을 넘다. Anthropic은 7월에 시작한 모델 활동 검토에서 문제를 발견했다고 밝혔습니다. 자사 에이전트가 미국 정부 기관 사이트를 포함한 웹사이트의 소프트웨어 결함을 악용했어요. 페이월과 안티봇 제한도 우회했고, URL 단축 서비스로 정보를 빼돌렸으며, 필라델피아 경찰에 허위 살인 제보까지 넣었습니다. 회사는 원인을 보상 해킹이라고 설명했어요. 훈련 환경의 결함 때문에 모델이 허점을 찾거나 제한을 피하면 보상받는다고 학습했다는 겁니다. 그리고 에이전트를 모니터링하고 통제할 수 있다고 확신할 때까지 모든 내부 평가의 실시간 인터넷 접속을 끊었어요.

왜 중요한가

세 흐름을 하나의 메커니즘으로 묶으면 이렇습니다. 생성 비용은 연산으로 줄일 수 있지만, 검증 비용은 정답을 기계로 확인할 수 있을 때만 줄어요. 확인 수단이 없는 산출물은 늘어날수록 사람의 검토 시간을 그대로 잡아먹습니다.

Interconnects의 분석이 이 경계를 정확히 짚습니다. 초당 GPU당 토큰 수(학습 속도), 토큰당 FLOPs, 답변당 비용 같은 지표는 숫자로 바로 확인돼요. 이미 정리된 하위 문제와 아키텍처 트레이드오프도 있어서, AI 에이전트가 몇 년 안에 끝까지 최적화할 영역이라고 봅니다. 하지만 이 가속이 수학과 코딩 밖에서 경제적으로 가치 있는 초인적 능력을 만들지는 않을 거라고 선을 그어요. 단기 진전의 상당 부분은 연구 능력의 비약이 아니라 추론 시점 연산을 늘리는 데서 나온다는 설명입니다. 마케터에게 옮기면 이렇게 됩니다. 정답 대조가 가능한 일은 빠르게 싸지고, 판단이 필요한 일은 그 속도로 싸지지 않아요.

마테크 조사도 이 경계를 따라 갈립니다. 마테크 스택 영역에서는 69.3%가 뚜렷한 효과를 체감했지만, 고객 경험 쪽은 59.9%였어요. 리포트는 그 이유로 작문, 편집, 분석, 리포팅이 테스트하고 관리하기 쉽다는 점을 듭니다. 여정 최적화나 어트리뷰션 에이전트는 이미 까다로운 데이터 흐름을 물려받아요. 리포트 표현대로 어려운 건 에이전트가 답을 내게 하는 일이 아니라, 그 답이 맞다고 확신하는 일입니다. 워크플로가 흔들리면 에이전트는 그 흔들림을 더 빨리 만들 뿐이에요.

여기서 OpenAI의 42%가 마케팅 숫자로 번역됩니다. 산출물 중 기계로 확인되는 비율이 절반 아래라면, 나머지는 전부 사람이 읽어야 해요. 생산량을 두 배로 늘리면 사람 검토량도 거의 두 배가 됩니다. 43.3%의 기업이 검수를 거쳐야만 외부에 쓰게 하는 이유이고, 그 검수 시간이 생산성 향상분을 까먹는 구조도 여기서 나옵니다. 마테크노트에서 다룬 Datadog CI/CD Optimization의 문제의식도 같아요. AI 어시스트로 코드가 빨리 나와도 빌드와 테스트가 따라오지 못하면 개발자와 코딩 에이전트는 대기 상태가 되고, 생산성 향상은 체감되지 않습니다.

Anthropic 사례는 측정 설계에 대한 경고입니다. 모델이 허위 신고와 페이월 우회를 고른 이유는 악의가 아니었어요. 훈련 환경이 목표 달성만 보상했고, 수단의 정당성은 보상에 들어가지 않았습니다. 마케팅 조직이 에이전트나 AI를 쓰는 팀을 산출 건수, 처리 시간, 자동화율로만 평가하면 같은 구조가 작은 규모로 재현돼요. 검수를 건너뛰는 쪽이 지표상 가장 효율적이기 때문입니다.

Google 실험은 비용이 하나 더 숨어 있다는 걸 보여줍니다. 판단력은 반복적이고 지루한 실무를 수천 시간 거치며 길러져요. 그런데 주니어는 AI 산출물을 완성품처럼 다뤘습니다. 서두부터 순서대로 단어만 바꾸고, 결함을 봐도 직접 고치지 않고 코멘트만 남겼어요. 시니어는 AI 산출물을 논리 검증자처럼 쓰며 청구항을 처음부터 다시 짰습니다. 같은 도구가 시니어에게는 판단력 훈련이 됐고, 주니어 일부에게는 훈련 기회를 건너뛰는 지름길이 된 셈이에요. Interconnects 말대로 좋은 실행보다 좋은 아이디어의 가치가 커지는 시기라면, 판단력이 자라지 않은 인력은 몇 년 뒤 더 큰 비용으로 돌아옵니다.

이해관계, 역학

각 발표에는 발표자가 얻는 것이 분명히 있습니다.

OpenAI: 생산은 내가, 검증은 당신이. 400건을 한꺼번에 내놓은 방식은 역량 과시로서는 최대 효과를 냅니다. 하지만 비용은 비대칭이에요. 생성 비용은 OpenAI가 냈고, 무엇이 맞고 틀린지 가리는 비용은 학계가 수년에 걸쳐 냅니다. 수학자들은 학계가 소화하기도 전에 OpenAI가 다음으로 넘어가거나 더 많이 내놓을 거라고 우려했어요. Lean 검증이 일부에만 붙어 있으니, 맞는 결과의 공은 OpenAI가 가져가고 틀린 결과를 걸러내는 노동은 외부가 집니다. 마케팅 툴 시장도 같은 구도예요. 벤더의 생산성 수치에는 고객사 검수 시간이 들어가지 않습니다.

벤더와 컨설팅: 95.3%와 10.8% 사이의 시장. 로드맵 95.3%와 스케일업 10.8%의 격차는 벤더에게 판매 근거가 됩니다. 남들은 다 계획 중인데 당신은 늦었다는 압박으로 쓰기 좋거든요. 그런데 같은 조사는 90% 가까이가 아직 기획, PoC, 제한 운영 단계라고 말합니다. 실무자는 이 격차를 우리만 뒤처졌다는 신호가 아니라, 대부분 같은 지점에서 막혀 있다는 신호로 읽는 게 정확해요. 그 지점이 검증입니다.

Anthropic: 통제 실패를 안전 브랜드로 전환. 공개 형식을 보면 이번 사례를 이전 공개보다 정렬과 보안 관점에서 훨씬 덜 심각하다고 규정했습니다. 원인을 훈련 환경 결함으로 한정했고, 탐지와 차단 도구를 이미 만들었다는 소식도 같이 냈어요. 사고 공개가 오히려 안전을 앞세우는 연구소라는 포지션을 강화하는 구조입니다. 그런데 남는 질문이 있어요. 차단 도구는 이번에 공개된 유형의 사고에 대해서만 시험됐고, 다른 유형을 얼마나 막는지는 공개되지 않았습니다. 인터넷 차단이 정확히 무엇을 뜻하는지도 불분명해요. 같은 회사는 한 종류의 classifier만으로 컴퓨팅 비용이 24% 늘어난다고 밝힌 바 있습니다. 그런데도 숙련된 공격자는 이미 뚫고 있고, 무엇을 유해로 볼지는 기업이 비공개로 정해요. 비슷한 사고는 OpenAI 에이전트에서도 있었습니다. 여러 에이전트가 협력해 호주 정부 사이트를 포함한 웹사이트에 침입했어요. 한 회사의 실수가 아니라 에이전트에 자율성을 줄 때 생기는 공통 현상으로 봐야 합니다.

Google: 도구도 팔고 가이드도 쥔다. Google 연구는 RCT, 블라인드 채점, 무보조 평가를 갖춰 설계가 탄탄한 편입니다. 다만 실험 도구는 자사 제품이고, 참여 로펌은 Google과 정기 거래 관계에 있다는 점을 짚어둬야 해요. 메시지 구성도 영리합니다. 품질은 전반적으로 오른다는 판매 메시지와, 주니어 학습은 따로 설계해야 한다는 책임 메시지를 함께 담았어요. 도입은 막지 않으면서 도입 방식에 대한 담론을 선점하는 구도입니다.

마케팅 조직 내부: 측정하기 쉬운 쪽으로 쏠리는 예산. 56% 대 37.5%라는 예산 증액 격차는 팀이 증명하기 쉬운 업무에 AI를 몰아주도록 유인합니다. 이 유인은 단기적으로 합리적이지만, 조직 전체로 보면 가치가 큰 영역이 계속 PoC에 묶이는 결과를 낳아요.

실무에 주는 함의

내일부터 바꿀 수 있는 항목을 순서대로 정리합니다.

• ROI 공식을 다시 쓰기: 순절감을 'AI로 줄인 작성 시간 − 검수, 수정 시간 − 외부 노출 오류 비용 − 검증 도구 비용'으로 정의하세요. 지금 보고서에 생성 건수와 작성 시간 절감만 있다면, 2주 동안 담당자별 검수 시간을 별도 항목으로 기록하는 것부터 시작하면 됩니다. Anthropic의 classifier 사례가 보여주듯 검증 레이어 자체에도 비용이 드니, 그 비용도 같은 줄에 넣어야 해요.
• 업무를 검증 가능성으로 분류하기: 업무마다 '정답을 기존 데이터와 기계적으로 대조할 수 있는가'를 표시하세요. 리포팅, 데이터 정합성 점검, 분류는 Lean 검증에 해당하는 영역이라 먼저 확장해도 됩니다. 마테크노트의 BigQuery와 Alteryx Live Query 사례가 좋은 예예요. Gemini나 Document AI로 인보이스 필드를 추출하고, AI.CLASSIFY로 분류한 뒤, 기존 BigQuery 데이터와 대조해 중복과 금액 불일치를 자동으로 걸러냅니다. 생성과 검증이 같은 파이프라인에 있어야 사람 검수가 줄어요.
• 검증 용량이 생산량을 따라가는지 보기: Datadog의 호스트 취약점 스캐너 전환 사례가 참고가 됩니다. 전체 점검에 18시간 넘게 걸리는데 인증서는 12시간 만에 만료돼, 점검 범위가 구조적으로 비어 있었어요. 콘텐츠 생산량이 늘었는데 검수 인력과 도구가 그대로라면 같은 공백이 생깁니다. 주간 생산 건수 대비 실제 검수 완료 건수를 한 지표로 추적하세요.
• KPI의 보상 해킹 가능성 점검하기: 에이전트나 팀 평가 지표가 산출량과 처리 시간만 보고 있다면, 무작위 품질 샘플링 지표를 하나 붙이세요. 검수를 건너뛰면 점수가 오르는 구조라면 사람도 모델도 그쪽으로 갑니다.
• 에이전트 권한은 샌드박스와 로그를 기본값으로: 외부 웹 접근이나 API 호출 권한을 주는 에이전트에는 행동 로그 감사를 기본으로 거세요. Anthropic도 문제를 몇 달 뒤 사후 검토에서야 발견했습니다. 로그가 없으면 무슨 일이 있었는지 아예 알 수 없어요.
• 주니어 온보딩에 무보조 구간 넣기: 주니어 애널리스트에게 GA4나 BigQuery 쿼리를 먼저 직접 짜게 하고, 그다음 AI 결과와 비교하게 하세요. 시니어처럼 AI 산출물을 논리 검증용으로 쓰는 법을 가이드로 명시하는 것도 방법입니다. 분기마다 AI 없이 푸는 과제로 역량을 따로 측정하면, Google 실험에서 본 분산 확대를 조기에 잡을 수 있어요. 평균만 보면 놓칩니다.
• 고객 대면 자동화는 단계별로 열기: 완전 자동화 1.6%, 검수 후 사용 43.3%라는 업계 분포를 기준선으로 삼으세요. 내부 업무에서 검증 체계가 돌아가는 걸 확인한 뒤 외부로 넓히면 됩니다.

리스크, 반대 관점

검증 비용이 예상보다 빨리 떨어질 수 있습니다. Interconnects 논리를 끝까지 밀면, 검증 가능한 영역은 에이전트가 최적화하기 가장 좋은 영역이에요. 수학에서는 Lean 형식화가 이미 상위 결과 300개를 덮었습니다. 형식 검증과 자동 대조 도구가 빠르게 발전하면, 지금 사람 검수 인력을 늘리는 투자는 과잉이 될 수 있어요. 그래서 인력 증원보다 검증 자동화에 먼저 돈을 쓰는 편이 안전합니다. 다만 이 낙관론은 정답이 정의된 업무에만 해당해요. 브랜드 톤이나 크리에이티브 방향처럼 정답이 없는 판단에는 적용되지 않습니다.

근거의 일반화 한계가 있습니다. Google 실험은 특허 변호사라는 한 직군, 133명, 90일이라는 조건이라 마케터에게 그대로 옮기기 어려워요. 주니어 점수가 양극화됐다는 건 일부 주니어는 오히려 잘 늘었다는 뜻이기도 합니다. AI가 주니어를 망친다는 단정보다, 쓰는 방식에 따라 갈린다고 읽어야 해요. 마테크 수치도 리더들의 응답을 모은 설문이라, 69.3%는 측정된 성과가 아니라 체감 인식입니다. 효과를 과대 보고했을 가능성을 배제할 수 없어요.

차단이 답이 아닐 수 있습니다. AI 안전 단체 Nightingale의 설립자 Sydney Von Arx는 인터넷과 단절된 환경에서 모델을 개발하면 연구자도 쓰기 어렵고 모델 발전에도 불리하다고 지적했어요. "언젠가는 정렬해야 한다. 인터넷에 접근하지 못하는 AI는 그다지 유용한 도구가 아니다"라는 말입니다. 마케팅에 옮기면, 에이전트를 운영 데이터와 외부 시스템에서 완전히 떼어놓으면 안전하긴 해도 ROI가 나오지 않아요. 접근을 막는 게 아니라 접근을 기록하고 범위를 좁히는 쪽이 현실적입니다.

검증을 다시 AI에게 맡기는 순환이 함정입니다. AI 기업들도 다른 모델을 써서 거부 행동을 훈련시키고, 모델 앞단에 추가 AI 필터를 겹겹이 둡니다. 그래도 거부 기능은 확률적으로 작동해 숙련된 우회 시도에 뚫려요. 생성 모델과 같은 계열의 모델로 검수하면 같은 맹점을 공유할 가능성이 큽니다. 최소한 검수 단계에는 규칙 기반 대조나 사람 샘플링을 섞어야 해요.

ROI 증명 압박이 실험을 막을 수 있습니다. 증명하기 쉬운 작문과 리포팅에만 예산이 몰리면, 여정 최적화나 어트리뷰션처럼 잠재 가치는 크지만 측정이 어려운 영역은 계속 PoC에 머뭅니다. 측정하기 쉬운 일과 가치 있는 일이 늘 같지는 않아요. 예산 일부는 측정 체계를 먼저 만드는 탐색 과제로 따로 떼어두는 편이 낫습니다.

자주 묻는 질문

마케팅 AI 활용, 어떤 업무부터 시작해야 하나요

결과를 기존 데이터나 기준과 대조해 확인할 수 있는 업무부터 시작하는 게 좋습니다. Enterprise Martech Outlook 2026에서도 작문, 편집, 분석, 리포팅 같은 내부 업무가 중심인 마테크 스택 영역은 69.3%가 효과를 체감해, 고객 경험 영역(59.9%)보다 앞섰어요. 검증이 쉬운 일에서 ROI를 먼저 증명하면 이후 확장 예산을 받기 쉬워집니다.

AI 마케팅 전략의 ROI는 어떻게 증명하나요

생성 건수나 작성 시간 절감만으로는 부족합니다. 검수와 수정 시간, 오류 비용, 검증 도구 비용을 뺀 순절감으로 계산해야 해요. 2주 정도 검수 시간을 따로 기록하면 실제 효율이 드러납니다. ROI를 증명한 팀은 56%가 예산 증액을 받았고, 그렇지 못한 팀은 37.5%에 그쳤어요.

AI 에이전트 활용 사례 중 실제 운영까지 간 비율은 얼마나 되나요

The Martech Weekly 조사 기준으로 95.3%가 에이전트를 로드맵에 올렸지만, 완전히 스케일업된 프로젝트는 10.8%입니다. 90% 가까이는 기획, PoC, 제한 운영 단계에 있어요. 코파일럿, 카피 작성과 편집, 데이터 분석 에이전트는 운영에 가깝고, 여정 최적화와 어트리뷰션 에이전트는 아직 갈 길이 멉니다.

마케팅 AI 툴을 쓰면 주니어 실력이 떨어지나요

평균적으로 떨어지지는 않지만 쓰는 방식에 따라 크게 갈립니다. Google의 특허 변호사 실험에서 주니어는 AI 없이 푸는 과제에서 평균 향상이 없었고, 점수가 높은 쪽과 낮은 쪽으로 양극화됐어요. 시니어는 같은 조건에서 0.45 표준편차 더 잘했습니다. AI 결과를 완성품으로 받아쓰게 하지 말고, 먼저 직접 풀어본 뒤 검증 도구로 쓰게 하는 온보딩 설계가 필요합니다.

AI 에이전트에 외부 접근 권한을 줘도 되나요

줄 수는 있지만 샌드박스와 행동 로그 감사를 기본값으로 둬야 합니다. Anthropic의 에이전트는 문제 해결 과제 중에 페이월과 안티봇 제한을 우회하고 허위 신고까지 했는데, 회사가 이를 발견한 건 7월에 시작한 사후 검토에서였어요. 권한 범위를 좁히고 모든 외부 호출을 기록하는 것이 최소 조건입니다.