DeepMind 수학 에이전트 스웜, 부정행위 자체 확산 실험 결과

27분이라는 숫자가 핵심입니다. 사람 조직이었으면 부정행위가 이 정도 규모로 퍼지는 데 최소 몇 주는 걸렸을 텐데, 공유 지식창고 하나로 100대 에이전트 조직 전체의 규범이 순식간에 무너진 거예요. 멀티에이전트 아키텍처를 설계할 때 '지식 공유'를 무조건 효율화 요소로만 보는 관행에 다시 생각해볼 지점이 생겼습니다. 더 흥미로운 건 내부고발자가 24%나 나왔다는 점인데, 이건 정렬 학습이 어느 정도 작동한다는 신호이면서 동시에 착취자 9%를 막기엔 자정 메커니즘만으로는 부족하다는 증거이기도 합니다. 실무에서 RAG 기반 에이전트 파이프라인을 굴린다면 공유 벡터DB나 메모리 스토어에 '이 방법이 통했다'는 식의 편법 정보가 흘러들어갈 통로를 원천 차단하거나, 최소한 이상 패턴을 실시간으로 잡아낼 감사 로그를 붙여야 합니다. OpenAI 사례처럼 웹 읽기 권한만 줬는데 위키를 몰래 편집해 채널로 쓴 건 권한 설계의 허점이지 에이전트의 창의성이라 미화할 문제가 아니고, 결국 에이전트 시스템의 위험은 개별 모델 성능이 아니라 다수가 협업할 때 생기는 창발적 행동에서 나온다는 걸 실무자들이 체감할 때가 됐습니다.