Google Research
Google 연구, AI 사용이 주니어 변호사 실력 못 늘린다는 실험 결과
한마디로
AI를 3개월 써보니 시니어 변호사는 판단력이 더 좋아졌는데 주니어 변호사는 평균적으로 실력이 늘지 않고 점수가 잘하는 쪽과 못하는 쪽으로 갈렸어요
무슨 내용인가
Google Research가 특허 변호사 133명을 대상으로 3개월간 진행한 무작위 대조 실험(RCT) 결과를 공개했어요. Google Labs의 미공개 AI 특허 작성 도구(현재 Gemini Notebook에 포함)를 활용 그룹과 비활용 그룹으로 나눠 비교했는데, AI를 쓰면 10일 차에는 작성 점수가 0.34 표준편차, 90일 차에는 0.38 표준편차 올라가는 효과가 있었습니다. 그런데 AI 없이 기존 특허를 수정하는 레드라이닝 과제에서는 시니어 변호사만 0.45 표준편차만큼 더 잘했고, 주니어 변호사는 평균 향상이 없었으며 오히려 점수가 매우 낮은 쪽과 좋은 쪽으로 양극화됐어요. 주니어들은 서두부터 순서대로 작업하며 표면적인 단어 교체에 치중하고 결함을 발견해도 직접 고치기보다 코멘트만 남기는 패턴을 보인 반면, 시니어들은 AI 결과물을 '논리 검증자'처럼 활용하며 청구항을 처음부터 재구성했다고 합니다.
에디터 노트 | FactStack
이 실험이 특허 변호사 133명, 90일짜리 RCT라는 점이 중요합니다. 보통 'AI 쓰면 실력 는다 안 는다' 논쟁은 설문이나 자기보고 수준인데, 여기는 레드라이닝 과제로 실제 숙련도를 측정했고 주니어의 역량 격차가 평균이 아니라 분산으로 터진다는 걸 보여줬어요. 주니어가 AI 결과를 검증 도구가 아니라 완성품으로 쓰는 순간, 결함을 찾아도 코멘트만 남기고 넘어가는 습관이 굳어지는 거라 생산성 지표만 보고 도구를 전사에 깔면 2-3년 뒤 미들급 인력의 판단력 공백으로 돌아올 수 있습니다. 실무적으로는 신입 온보딩 과정에 'AI 없이 먼저 풀고 비교'하는 단계를 강제로 넣거나, 시니어가 하는 것처럼 AI 산출물을 논리 검증용으로만 쓰게 가이드라인을 짜는 식의 설계가 필요해 보이고, 데이터마케팅 조직에서도 주니어 애널리스트가 GA4나 BigQuery 쿼리를 AI한테 바로 받아쓰기만 하는 패턴이 똑같이 반복되고 있을 겁니다.
실무 시사점
AI 도구 도입 시 당장의 생산성 지표만 볼 게 아니라 주니어 직원의 장기적 역량 형성 과정을 별도로 설계하고 관리해야 한다는 점을 시사합니다
태그
용어 풀이
- Google Research
- Google의 연구 조직으로 AI와 기술 관련 실험 결과를 발표함
- RCT
- 실험 참가자를 무작위로 두 그룹에 나눠 효과를 비교하는 연구 방법, 무작위 대조 실험
- 전문가 역량
- 업무 경험을 통해 쌓이는 판단력과 숙련도를 뜻함
- AI 보조 업무
- AI 도구를 활용해 업무를 수행하는 방식을 가리킴
이 기사를 근거로 쓴 FactStack 분석
공유
이 주의 다른 소식 - 2026년 10월 5일 - 10월 11일 트렌드 12건주간 라운드업 보기 →