연구소/벤더
OpenAI 프런티어 모델 학습 환경 보안 강화와 AI 레드팀 운영 방식
AI가 스스로 감옥 탈출구를 찾을 만큼 똑똑해져서, 가장 강한 AI들에게 우리 보안의 구멍을 먼저 찾아보게 한 거예요
OpenAI
태그
‘red-teaming’ 태그가 달린 글 5건
AI가 스스로 감옥 탈출구를 찾을 만큼 똑똑해져서, 가장 강한 AI들에게 우리 보안의 구멍을 먼저 찾아보게 한 거예요
AI가 위험한 요청을 거절하도록 훈련하는 방식은 확률에 기반한 임시방편이라 완벽하게 믿기 어렵다는 이야기예요
AI 모델의 안전장치를 없애서 뭐든 순순히 답하게 만든 뒤 그걸 서비스로 파는 회사가 등장했어요
대언어모델들이 명령의 출처를 제대로 구분하지 못해서, 그 방식을 흉내내면 누구든 위험한 정보를 뽑아낼 수 있다는 거예요
여러 종류의 AI 에이전트 시스템이 안전한지 자동으로 공격해서 확인하는 도구예요