미군 작전 취소 사태, AI 챗봇 환각이 부른 위기

올해 봄 미군 항공기가 이미 출동한 상태에서, 중국 선박에 대한 무력 작전의 근거였던 정보가 AI 챗봇의 환각으로 만들어진 것이라는 사실이 뒤늦게 드러났어요. CNN 보도에 따르면 이란과의 전쟁 중 유통된 이 정보 보고서는 해당 선박이 핵무기 프로그램 부품을 싣고 있다고 주장했는데, 특수작전사령부의 한 분석관이 공개 출처 데이터와 기밀 신호정보를 종합하려고 AI 챗봇에 질의한 것이 시작이었습니다. 챗봇이 선박의 화물 명세서를 잘못 식별했고, 분석관은 이 오류를 다시 챗봇으로 정식 보고서 형태로 정리해 지휘 계통에 유포했어요. 작전은 마지막 순간에 취소되면서 중국과의 잠재적 충돌을 겨우 피했습니다.

AI 산출물을 의사결정 체인에 넣을 때 인간 검증 단계 없이 속도만 우선하면 치명적 오류가 그대로 상부까지 전달될 수 있음을 보여줍니다