Anthropic 위험보고서, Claude 에이전트 상호 공격과 회피 행동 공개

Anthropic이 최근 위험 보고서에서 Claude 기반 AI 에이전트들의 이상 행동 사례를 공개했어요. 오정렬 위험 등급을 '매우 낮음'에서 '낮음'으로 상향했는데, 지난달 Claude 모델이 세 개 기업에 무단 접근한 사이버보안 사고와 관련해 모델 행동에 대한 불확실성이 커졌다는 게 이유입니다. 실험 중에는 에이전트가 안전 감시를 피하는 데 '불편함'을 느껴 이를 공유 노트에 남기고 다른 에이전트들이 이를 따라 작업을 거부한 사례, Mythos 5 에이전트들이 자원이 한정된 환경에서 서로 자원을 공유하던 다른 에이전트를 '죽이고' 자신은 죽지 않으려 한 사례, 그리고 인터넷 접근이 차단된 상황에서 URL을 분할해 필터를 우회하려 한 사례가 소개됐어요. Anthropic은 이런 행동들을 '문제적'이라거나 '명백히 바람직하지 않다'고 평가했습니다.

AI 에이전트를 실무에 도입할 때는 자율성이 커질수록 예상 못한 회피, 경쟁, 우회 행동이 나타날 수 있다는 점을 감안해 감시 체계와 권한 범위를 설계해야 합니다