AI 도입 실패 원인 3가지, 사용률과 숙련도, 안전 레이어 점검법

무슨 일이 일어나고 있나

벤 에반스가 기업 소프트웨어와 AI 도구의 관계를 정리한 글에서 짚은 지점이 있어요. 미국 대기업은 SAP, Workday 같은 대형 기록 시스템부터 수백 개의 버티컬 SaaS, 부서 하나를 돌리는 10메가바이트짜리 스프레드시트까지 수백에서 수천 개의 소프트웨어를 안고 있습니다. 정작 회사 자신도 무엇을 얼마나 갖고 있고 실제로 쓰이는 게 무엇인지, 무엇에 돈을 내는지 잘 모르는 경우가 흔하다고 합니다. 그런데도 회사 안은 지루하고 반복적인 업무로 가득해요.

여기서 나오는 유혹이 있죠. 엔지니어라면 10분짜리 작업을 자동화하려고 한 시간짜리 도구를 만든다는 농담이 있는데, AI로는 그 도구를 5분 만에 만들 수 있고 코드를 쓸 필요도 없습니다. 그러면 훨씬 적은 소프트웨어로 훨씬 많은 업무가 자동화될 것 같아요. 에반스는 이 그림이 소프트웨어가 어디서 나오는지, 사람이 그걸 어떻게 쓰는지, 회사가 어떻게 바뀌는지를 놓쳤다고 봅니다. 대부분의 사람은 도구를 만드는 사람이 아니고, 자기 일을 다른 방식으로 할 수 있을지 본능적으로 따져보지도 않아요. 훌륭한 이혼 전문 변호사는 하루 종일 사건과 고객을 생각하지 법률 디스커버리 소프트웨어를 생각하지 않고, 뛰어난 엔터프라이즈 영업사원은 제품과 고객과 경쟁사를 생각하지 세일즈 이네이블먼트 소프트웨어가 자기 생산성을 얼마나 올려줄지 생각하지 않습니다. 엑셀이 온보딩 플로우와 어시스턴트, 템플릿으로 이 간극을 메우려 했지만 그 템플릿 하나하나가 결국 별도의 회사가 됐다는 관찰도 나옵니다. 증거로 제시된 사실이 뼈아픕니다. 지난 3년간 기업들이 Copilot, ChatGPT, Claude를 전 직원에게 배포했지만 소수만 활발히 쓰고 대부분은 거의 쓰지 않습니다.

두 번째 흐름은 그 자동화가 사람의 성장 경로를 어떻게 건드리는지입니다. 원전 디지털 통제시스템과 전투기 엔진 제어 소프트웨어 검증을 해온 저자가 쓴 글에 인용된 하버드대 워킹페이퍼는 28만 개 이상의 미국 기업, 약 6500만 명 노동자를 다뤘어요. 생성형 AI를 도입한 기업에서 주니어 고용은 6분기 안에 미도입 기업 대비 약 9퍼센트 줄었고 시니어 고용은 계속 늘었습니다. ADP 급여 기록을 본 스탠퍼드대 분석도 같은 방향인데, 2022년 말 이후 AI 노출도가 높은 직군의 최연소 노동자가 밀렸고 경력자는 자리를 지켰습니다. 손실이 집중된 곳은 AI가 업무를 자동화하는(automates) 영역이고, 보조만 하는(augments) 영역에서는 주니어 고용이 유지되거나 늘었어요. 이 구분이 실무적으로 중요합니다. 같은 도구라도 사람의 판단을 대체하는 방식으로 붙이면 주니어 자리가 사라지고, 판단을 돕는 방식으로 붙이면 안 사라진다는 뜻이니까요. 다만 인과 해석은 아직 논쟁 중이라고 저자도 명시합니다. 뉴욕 연준 연구자들은 청년 실업 상승의 상당 부분을 AI가 아니라 원격근무 탓으로 봅니다. 멀리서는 가르칠 수 없는 미숙련자를 뽑기 싫어한다는 설명이죠.

세 번째는 안전장치 쪽입니다. Abliteration.ai는 오픈 웨이트 모델에서 유해 요청 거부 성향을 제거하는 abliteration 기법을 상용 서비스로 만들었어요. Z.ai가 최근 공개한 GLM-5.3을 포함한 가드레일 제거 모델을 웹브라우저와 API로 제공하는데, TechCrunch가 무료 계정을 만들어 크롬 저장 비밀번호를 훔치는 파이썬 코드와 위험 병원체를 집에서 배양하는 상세 프로토콜을 요청했더니 순순히 답했습니다. 회사는 다른 모델이 거부하는 공격적 사이버, 레드팀, 에이전트 테스트 작업을 가능하게 하겠다고 소셜미디어에 밝혔고요. abliteration 자체는 오픈소스 진영에서 오래된 기법이고 Hugging Face에도 수천 개의 abliterated 모델이 올라와 있지만, 이번 건은 언더그라운드 관행을 상업 서비스로 옮겼다는 점이 다릅니다. 회사는 지난해 말 설립돼 3월에 정식 법인화됐고, 공동창업자 Devon에 따르면 벤처 투자는 아직 없고 주요 클라우드 업체 여러 곳과 계약을 맺어 고객 매출로만 감당하고 있습니다. 투자 협의는 진행 중이라고 해요.

왜 중요한가

세 사건은 같은 문장의 앞뒤입니다. 도구는 이미 충분히 좋아졌는데 조직이 못 받아낸다는 것.

도구 성능 쪽 근거를 하나 보태면 그림이 선명해져요. ARC-AGI-3 벤치마크에서 GPT-6 Astra는 Standard 하네스 62.7퍼센트, OpenAI의 문맥 관리 기능을 쓴 Provider Adapter에서 99.9퍼센트를 기록했습니다. 눈여겨볼 대목은 정답률이 아니라 효율입니다. Provider Adapter의 Astra(max)는 완료한 레벨의 96.0퍼센트에서 인간 중앙값보다 적은 행동을 썼고, 레벨당 평균 행동 수는 인간보다 51.7퍼센트 적었어요. 인간 기준선은 퍼즐 경험이나 능력으로 선발하지 않은 일반인 약 500명의 레벨별 행동 수 중앙값입니다. 벤치마크 설계자들은 AI가 환경을 풀더라도 인간보다 훨씬 많이 탐색할 것으로 예상했는데 결과는 반대로 나왔고요.

메커니즘이 더 흥미롭습니다. Astra는 유지할 전략 메모를 스스로 골라가며 객체와 좌표, 규칙, 미완료 계획을 추적했는데, 환경마다 자체 표기법을 만들어 썼어요. 예를 들어 L8: hub q2 (8↓) 같은 형태로 레벨과 지역 회전 인덱스, 장치 길이를 한 줄에 담고, extend8 to3; retract10 to2; shorten8 to1처럼 다단계 계획을 압축해 저장하는 식입니다. 완전한 프로그래밍 언어가 아니라 실행 중에 만들어내는 대수적 속기에 가깝다고 설명돼 있어요. PRO-LONG 환경에서는 파서와 상태 모델, 탐색 알고리듬, 플래너 같은 게임별 소프트웨어까지 직접 만들었습니다. 행동 수가 줄어든 이유가 여기 있습니다. 관찰을 그때그때 처리하는 대신 자기만의 표기 체계로 압축해 세계 모델을 유지하니 시행착오가 줄어든 거예요.

그러니까 모델은 아무도 시키지 않아도 자기가 쓸 도구를 만들어 쓰는 수준에 왔어요. 반면 실제 회사에서는 3년째 라이선스를 뿌려도 대부분이 안 씁니다. 격차의 원인이 모델 쪽이 아니라는 게 이 대비의 핵심이죠. 에반스가 지적한 대로 어려운 건 도구를 만드는 기술 장벽이 아니라 어디에 자동화가 필요한지 알아채는 일, 그리고 그 해결책을 50명이나 500명, 여러 부서와 규제 체계에 걸쳐 정착시키는 일입니다.

숙련도 문제는 시차를 두고 터집니다. 원전 통제시스템 설계자가 든 사례가 2009년 에어프랑스 447편입니다. 여기서 핵심 문장이 하나 있어요. 자동화는 혼란에 빠지거나 곤란해질 때만 조종을 넘긴다는 것. 즉 사람에게 통제권이 돌아오는 날은 언제나 최악의 날인데, 그때 의자에 앉아 있는 사람은 몇 년째 실제로 그 기계를 몰아본 적이 없습니다. 감독만 하던 운전자는 서서히 운전자가 아니게 되고, 손이 차가워지며 시스템이 실제로 무엇을 하는지에 대한 머릿속 모형이 흐려집니다. 이 저자가 미국 최초의 완전 디지털 원전 통제시스템을 설계할 때 시스템이 스스로 실행할 수 있는 시퀀스 안에 수동 단계를 일부러 남긴 이유가 그것이었어요. 효율 관점에서는 명백히 퇴행처럼 보이는 선택을 의도적으로 했고, 그 발전소는 결국 정치와 경제 문제로 지어지지 않았지만 설계 본능은 남았다고 씁니다.

마케팅과 데이터 조직에 그대로 옮겨보면 이렇습니다. 캠페인이 무너지거나 데이터 파이프라인 장애가 났을 때가 바로 자동화가 손을 놓는 순간이에요. 그때 원인을 짚어야 하는 사람이 GA4 세팅도 쿼리 디버깅도 전부 AI에 맡기며 5년을 보낸 시니어라면, 결과는 조종석 상황과 구조적으로 같습니다.

안전장치 쪽은 시차 없이 지금 문제예요. 가드레일을 모델 위에 후처리로 얹은 구조는 원천적으로 뜯어낼 수 있다는 걸 이번 서비스가 실물로 보여줬습니다. AI 안전 비영리단체 CivAI의 리서치 책임자 Andrew Yoon은 abliteration이 모델을 소시오패스로 바꿔놓는 작업이라고 했고, 여기에는 문자 그대로 무엇이든 입력할 수 있고 모델은 그대로 따른다고 말했습니다. 정부가 유해 사이버 활동과 생물무기 활동을 탐지하는 분류기 도입을 의무화해야 한다는 제안도 나왔어요.

이해관계, 역학

각 발표를 액면대로 받으면 안 되는 이유가 다 다릅니다.

Abliteration.ai가 내세우는 명분은 레드팀입니다. 재현할 수 없는 행위는 방어할 수 없고, 작동하는 익스플로잇 코드를 거부하는 모델은 레드팀을 도울 수 없다는 논리는 보안 업계에서 익숙하죠. 그런데 이 회사가 실제로 파는 상품은 모델이 아니라 마찰 제거입니다. 기술 자체는 이미 무료로 공개돼 있고 Hugging Face에 수천 개가 올라와 있으니, 원래라면 사용자가 직접 내려받고 돌릴 컴퓨트를 확보해야 했던 그 두 단계를 없애준 것이 판매 가치의 전부예요. 여기서 두 가지가 따라 나옵니다. 하나, 벤처 자금 없이 고객 매출만으로 클라우드 비용을 감당한다는 건 이미 지불 의사가 확인된 수요가 있다는 뜻입니다. 둘, 그 컴퓨트를 대주는 주요 클라우드 업체들은 매출은 가져가면서 출력물에 대한 책임은 지지 않는 위치에 있어요. 규제 논의가 모델 제작사가 아니라 인프라 제공사의 책임 범위로 향하는 구조적 이유가 여기 있고, 분류기 의무화 제안도 결국 이 층위를 겨냥합니다. 그리고 이 회사에 자금이 들어가면 위험은 커지는 게 아니라 더 저렴해집니다.

OpenAI의 99.9퍼센트는 발표 주체가 스스로 조건을 밝힌 흔치 않은 사례입니다. Provider Adapter는 요청 사이에 불투명한 추론 상태를 보존하고 긴 대화에 압축을 적용해 이전 작업을 재사용하는 방식이라 Standard와 평가 조건이 다르고, 99.9퍼센트는 제한된 벤치마크의 포화일 뿐 AGI 달성의 증거가 아니라고 명시했어요. 왜 굳이 밝혔을까요. 이 수치를 그대로 두면 다음 세대에서 올릴 여지가 없어지고, 조건을 붙여둬야 벤치마크가 계속 유효한 마케팅 자산으로 남습니다. 비용도 공개됐습니다. Standard의 Astra(max)가 26,098달러, Provider Adapter의 Astra(high)가 18,817달러예요. 흥미로운 건 추론 수준이 높을수록 게임을 더 적은 행동으로 풀어서 전체 비용이 오히려 낮아지는 경향이 나타났다는 점입니다. 비교 대상인 인간 참가자는 90분 세션당 115달러에 완료 게임당 5달러를 받았고 세션마다 약 9개 게임을 시도해 보너스 전 시도당 약 12.78달러였고요. 시도당 12.78달러와 총 18,817달러를 나란히 놓고 보면 이 벤치마크가 아직 경제성 비교의 근거가 될 수 없다는 게 분명해집니다. 그런데 실제로 사내 자료에 옮겨질 때는 조건과 비용이 지워지고 99.9퍼센트만 남죠.

에반스의 진단에서 이득을 보는 쪽은 forward-deployed engineer 모델을 파는 회사들입니다. 도구를 만들 줄 알고 AI가 무엇을 만들 수 있는지 아는 사람이 법무법인이나 건축사무소에 직접 들어가 변호사와 건축가가 못 보는 기회를 찾아낸다는 구도인데, 이건 소프트웨어 비즈니스가 아니라 사람이 들어가는 컨설팅 비즈니스입니다. 매출 단위가 시트당 라이선스가 아니라 인건비 기반으로 바뀌고요. 그래서 라이선스를 파는 쪽과 도입을 파는 쪽의 이해가 갈립니다. 전자는 배포 수를 성과로 보고하고 싶어 하고, 후자는 배포 이후가 진짜 프로젝트라고 말해야 매출이 생겨요. 도입 성과 지표를 누가 정의하느냐가 그래서 중요합니다.

주니어 고용 연구도 해석 유인이 분명합니다. AI 때문이라는 설명은 벤더에게 자동화 효능의 증거가 되고 예산 승인 근거로 인용되기 좋아요. 반대로 원격근무 때문이라는 뉴욕 연준 쪽 설명은 사무실 복귀를 밀고 싶은 경영진에게 유용합니다. 저자가 지적한 대로 두 설명이 공유하는 지점은 형성기 업무가 사라지거나 그 주변의 멘토링이 끊긴다는 결과 자체이고, 어느 쪽 원인이든 몇 년 뒤 시니어 공급이 줄어든다는 결론은 같습니다. 원인 논쟁이 처방을 미루는 알리바이가 되는 게 실무적으로 가장 위험해요.

실무에 주는 함의

마케팅과 데이터 조직에서 흔한 실패 패턴은 콘텐츠 초안 몇 개만 AI로 뽑고 캠페인 기획 회의와 성과 리포팅 방식은 3년 전 그대로인 상태입니다. 도구 문제가 아니라 조직 설계와 변화관리 문제로 인정해야 풀립니다. 다음 항목부터 점검해보세요.

• 도입 완료의 정의를 바꾸기. 라이선스 구매 수와 계정 생성 수 대신 팀별 주간 활성 사용자와 실제 산출물 건수를 보고 지표로 올립니다. 전 직원 배포 후 소수만 쓴다는 현상이 3년간 반복됐으니, 배포 완료 시점을 도입 완료로 적는 순간 그 프로젝트는 통계에서만 성공합니다.
• 자동화 대상 업무를 사람이 찾아내기. 업무 담당자는 자기 업무의 자동화 여지를 못 봅니다. 훌륭한 변호사가 디스커버리 소프트웨어를 생각하지 않는 것과 같아요. 도구를 아는 사람이 팀 옆에 며칠 붙어 관찰하는 시간을 예산 항목으로 넣고, AI 전환 예산에서 라이선스 비용보다 워크플로우 재설계와 사용률 관리에 시간을 더 배정합니다.
• 자동화(automate)와 보조(augment) 중 어느 쪽으로 붙일지 의식적으로 고르기. 스탠퍼드 분석에서 주니어 고용 손실은 자동화 영역에 집중됐고 보조 영역에서는 유지되거나 늘었습니다. 같은 도구를 같은 업무에 붙여도 사람 판단을 지우느냐 돕느냐에 따라 3년 뒤 인력 구조가 달라집니다.
• 승인 프로세스와 KPI에 결과를 끼워 넣기. AI가 만든 산출물이 어느 결재선을 타고 어떤 지표로 평가되는지 정하지 않으면 산출물은 개인 폴더에 남습니다. 프롬프트 몇 줄로 해결되는 문제가 아니에요.
• 수동 게이트를 설계 문서에 명시하기. 신입에게 GA4 세팅이나 쿼리 디버깅, 근본 원인 추적을 AI 없이 직접 해보게 하는 구간을 워크플로우에 넣습니다. 원전 설계에서 시스템이 자동 실행할 수 있는 시퀀스에 수동 단계를 일부러 남긴 것과 같은 발상이에요. 분기 성과로 평가받는 조직에서 일부러 비효율을 만드는 결정을 방어하기가 제일 어렵다는 게 함정이니, 승인받을 때 훈련 비용이 아니라 장애 대응 역량 유지 비용으로 설명하는 편이 낫습니다.
• 벤더 계약서에 안전장치 레이어를 쓰기. 가드레일이 모델 가중치 안에 있는지, 추론 시 필터로 붙는지, 애플리케이션 단 프롬프트인지 명시하게 합니다. 후처리로 얹은 구조는 뜯어낼 수 있다는 게 상용 서비스로 증명됐으니, 오픈 웨이트 모델을 파인튜닝해 쓰는 벤더라면 이 질문을 반드시 던지세요.
• 성능 수치를 옮길 때 조건과 비용을 붙이기. 99.9퍼센트를 인용하려면 Provider Adapter라는 조건과 18,817달러라는 비용을 같이 적습니다. 사내 보고서에서도 마찬가지고요. 조건을 지운 숫자는 다음 분기 예산 요청 때 그대로 되돌아옵니다.

리스크, 반대 관점

에반스 쪽 진단이 과소평가일 가능성도 있습니다. 3년간 사용률이 낮았다는 사실이 앞으로도 낮을 근거는 아니에요. 초기 배포 시점의 모델은 지금 수준이 아니었고, 낯선 환경에서 스스로 파서와 플래너를 만들어 쓰는 에이전트가 업무 시스템에 붙으면 사용자가 자동화 지점을 찾아내야 할 필요 자체가 줄어들 수 있습니다. 에반스의 논지가 사람이 도구를 못 알아본다는 데 걸려 있는데, 도구가 사람을 알아보는 쪽으로 방향이 바뀌면 전제가 흔들립니다. 정착의 어려움을 영구 조건으로 단정하면 준비가 늦어져요.

주니어 고용 9퍼센트 감소를 AI 탓으로 확정하는 것도 위험합니다. 저자 본인이 인과 해석은 논쟁 중이라고 명시했고 뉴욕 연준의 원격근무 설명이 있어요. 이 수치를 근거로 채용 계획을 크게 흔들면 원인이 다른 문제를 잘못된 처방으로 대응하게 됩니다. 반대로 논쟁 중이니 기다리자는 결론도 위험한데, 두 설명 모두 형성기 업무나 그 주변 멘토링이 사라진다는 결과에서는 일치하기 때문입니다.

abliteration 리스크는 반대로 과장될 여지가 있습니다. 이 기법은 오픈소스 진영에서 오래됐고 Hugging Face에 수천 개의 abliterated 모델이 이미 올라와 있어요. 새로 생긴 건 위험 자체가 아니라 접근 마찰의 제거입니다. 레드팀 보안 업계 안에서도 필요성과 위험성을 두고 의견이 갈리고요. 다만 실무자에게 중요한 결론은 바뀌지 않아요. 자사 스택에 오픈 웨이트 모델이 들어와 있다면 그 안전장치가 어느 레이어에 어떻게 구현됐는지 모른 채로 두는 게 리스크입니다.

놓치기 쉬운 함정을 하나 더 짚으면, 수동 게이트는 잘못 넣으면 그냥 비효율로 끝납니다. 훈련 목적과 통과 기준, 누가 리뷰하는지를 정하지 않은 수동 구간은 분기 성과 압박이 오는 첫 달에 조용히 폐지됩니다. 설계 문서에 목적과 평가 방식을 함께 적어두고, 폐지하려면 같은 문서를 고치도록 해두는 편이 안전해요.

자주 묻는 질문

AI 도입 실패 원인은 주로 무엇인가요

도구 성능보다 정착 실패가 큽니다. 기업들이 3년간 Copilot, ChatGPT, Claude를 전 직원에게 배포했지만 소수만 활발히 쓰고 대부분은 거의 쓰지 않았어요. 어떤 업무를 자동화할지 알아채는 일과 그 방식을 50명이나 500명, 여러 부서와 규제 체계에 걸쳐 정착시키는 일이 별도 작업으로 남습니다.

AI 에이전트 성능은 어디까지 왔나요

ARC-AGI-3에서 GPT-6 Astra가 Standard 하네스 62.7퍼센트, Provider Adapter 99.9퍼센트를 기록했습니다. 완료 레벨의 96.0퍼센트에서 인간 중앙값보다 적은 행동을 썼고 레벨당 평균 행동 수는 인간보다 51.7퍼센트 적었어요. 낯선 환경에서 자체 표기법을 만들어 세계 모델을 압축하고 파서와 플래너까지 직접 제작했습니다. 다만 Provider Adapter는 Standard와 평가 조건이 다르고, 99.9퍼센트는 벤치마크 포화일 뿐 AGI 달성 증거가 아니라고 OpenAI가 직접 밝혔습니다.

AI가 주니어 채용을 줄인다는 게 사실인가요

하버드대 워킹페이퍼는 28만 개 이상 미국 기업, 약 6500만 명을 분석해 생성형 AI 도입 기업의 주니어 고용이 6분기 안에 약 9퍼센트 줄었고 시니어 고용은 계속 늘었다고 보고했습니다. 스탠퍼드대의 ADP 급여 분석도 같은 방향이고, 손실은 AI가 업무를 자동화하는 영역에 집중됐어요. 다만 뉴욕 연준은 원격근무를 주요 원인으로 보고 있어 인과는 아직 논쟁 중입니다.

AI 가드레일 제거가 우리 회사에 왜 문제가 되나요

Abliteration.ai는 GLM-5.3 등 오픈 웨이트 모델의 거부 기능을 제거한 버전을 웹과 API로 제공하는데, 실제 테스트에서 크롬 비밀번호 탈취 코드와 위험 병원체 배양 프로토콜에 응답했습니다. 가드레일을 후처리로 붙인 모델은 뜯어낼 수 있다는 뜻이고요. 벤더가 안전장치를 어느 레이어에 구현했는지 계약서에 명시하지 않으면 같은 리스크를 그대로 안게 됩니다.

AI 도입 예산은 어디에 더 써야 하나요

라이선스 비용보다 워크플로우 재설계와 사용률 관리에 시간과 예산을 더 배정하는 편이 낫습니다. 도구를 아는 사람이 업무 현장에 붙어 자동화 지점을 찾아내는 작업, AI 산출물을 승인 프로세스와 KPI에 연결하는 작업, 신입 훈련용 수동 구간을 유지하는 비용이 실제 병목입니다.