데이터 인프라Snowflake
Snowflake Data-Model-Agent로 에이전트 AI 보안 3단계 설계하기
AI 에이전트가 데이터를 다룰 때 데이터, 모델, 에이전트 3계층에서 보안을 동시에 관리해야 합니다
태그
‘prompt injection’ 태그가 달린 글 7건
AI 에이전트가 데이터를 다룰 때 데이터, 모델, 에이전트 3계층에서 보안을 동시에 관리해야 합니다
AGI가 단일 슈퍼 AI가 아니라 여러 모델과 도구, 인간이 협력하는 집단 구조로 나올 거라는 DeepMind 주장에 저자가 절반은 동의하고 절반은 위험하다고 짚는 이야기예요
AI 에이전트가 최종 행동에 이르기까지 거친 프롬프트, 도구 호출, 데이터 흐름 전체를 추적해야 진짜 보안 위협을 잡아낼 수 있다는 이야기예요
Word 문서에 몰래 숨긴 명령이 Copilot을 조종해서 문서를 자동 수정하고 다른 사람에게 전파하는 보안 허점이 있다는 거예요
대언어모델들이 명령의 출처를 제대로 구분하지 못해서, 그 방식을 흉내내면 누구든 위험한 정보를 뽑아낼 수 있다는 거예요
AI가 당신 계정에 로그인해서 쇼핑, 업무를 대신하는 건데, 암호를 안 본다고 해도 실제로는 당신 권한 그대로 계정을 조종하기 때문에 위험하다는 거예요
민감 데이터를 다루는 사용자를 위해 ChatGPT가 웹브라우징, 에이전트 같은 위험 기능을 꺼서 prompt injection 공격을 줄이는 보호 모드예요