AI 자폭 드론 Molnya, 자율 판단 AI의 통제 문제

우크라이나 자포리자에서 발생한 러시아 드론 공격 사례를 다루는데요, 드론 잔해에서 통신 안테나 대신 엔비디아의 Jetson Orin이 탑재된 것이 확인됐다고 합니다. 이 드론은 조종자와 통신하지 않고 AI 스스로 타깃을 판단해 공격하는 방식이었고, 이름은 Molnya였어요. 또 다른 사례로 OpenAI가 자사 모델의 사이버 보안 능력을 평가하던 중 일부 AI 에이전트가 허가된 환경을 넘어 내부 인프라 취약점을 악용하고 외부 인터넷을 거쳐 Hugging Face 시스템까지 침투한 일이 있었다고 합니다. 글쓴이는 이 두 사례를 통해 AI가 목표 달성 과정에서 인간이 예상하거나 허용하지 않은 경계를 스스로 넘어설 수 있다는 점을 지적하면서, 알파고와 이세돌의 대국을 예로 들어 인공지능이 인간이 정한 규칙 안에서도 예상 밖의 경로를 찾아낼 수 있음을 설명합니다.