데이터 인프라Snowflake
Snowflake Data-Model-Agent로 에이전트 AI 보안 3단계 설계하기
AI 에이전트가 데이터를 다룰 때 데이터, 모델, 에이전트 3계층에서 보안을 동시에 관리해야 합니다
The Brief가 FactStack이 되었습니다
태그
‘prompt injection’ 태그가 달린 글 6건
AI 에이전트가 데이터를 다룰 때 데이터, 모델, 에이전트 3계층에서 보안을 동시에 관리해야 합니다
AI 에이전트가 최종 행동에 이르기까지 거친 프롬프트, 도구 호출, 데이터 흐름 전체를 추적해야 진짜 보안 위협을 잡아낼 수 있다는 이야기예요
Word 문서에 몰래 숨긴 명령이 Copilot을 조종해서 문서를 자동 수정하고 다른 사람에게 전파하는 보안 허점이 있다는 거예요
대언어모델들이 명령의 출처를 제대로 구분하지 못해서, 그 방식을 흉내내면 누구든 위험한 정보를 뽑아낼 수 있다는 거예요
AI가 당신 계정에 로그인해서 쇼핑, 업무를 대신하는 건데, 암호를 안 본다고 해도 실제로는 당신 권한 그대로 계정을 조종하기 때문에 위험하다는 거예요
민감 데이터를 다루는 사용자를 위해 ChatGPT가 웹브라우징, 에이전트 같은 위험 기능을 꺼서 prompt injection 공격을 줄이는 보호 모드예요