AI 거부 기능, 왜 완벽한 안전장치가 아닌가

AI가 위험한 질문에 '아니오'라고 답하는 거부 능력은 모델이 자연스럽게 갖춘 게 아니라 별도로 훈련시켜 심어 넣은 기능이에요. OpenAI의 Steven Adler나 Harvard의 Ryan McBain 같은 연구자들은 초기 챗봇이 자살 방법 같은 위험한 질문에도 쉽게 답했다고 말하는데요, 이후 red-teaming과 fine-tuning을 거치면서 거부 행동이 모델 안에 자리잡게 되었습니다. 문제는 이 거부 메커니즘이 확률적으로 작동해서 완벽하지 않다는 점인데요, Anthropic은 한 종류의 classifier가 컴퓨팅 비용을 24% 늘린다고 밝혔고, 그럼에도 숙련된 공격자는 이미 이를 뚫고 있다고 합니다. 더 나아가 어디까지를 '유해한 요청'으로 볼지 기준을 정하는 건 AI 기업들이 비밀리에 결정하고 있고, 향후 각국 정부가 자체 기준을 적용하면 정당한 표현까지 억압하는 데 쓰일 위험도 있다고 지적합니다.

AI 챗봇을 고객 응대나 콘텐츠 생성에 활용하는 기업은 거부 기능이 100% 신뢰할 수 없는 확률적 장치라는 점을 감안해 별도의 안전장치와 모니터링 체계를 마련할 필요가 있습니다