AI 에이전트 거버넌스 플레이북
- 권한을 주되 사고는 막는 6가지 통제
에이전트 거버넌스는 문서로 만드는 정책이 아니라 실행 경로에 심는 회로입니다. 통제는 여섯 개예요. 권한 경계, 차단 규칙, 승인 게이트, 에이전트 신원, 흔적, 상한. 이걸 사람이 매번 지키는 규율이 아니라 시스템이 강제하는 구조로 만들어야 자율성을 늘려도 사고가 안 납니다.
왜 지금 이 이야기가 필요한가
에이전트가 답만 하던 시절에는 거버넌스가 필요 없었어요. 틀리면 안 쓰면 그만이었으니까요. 그런데 지금 에이전트는 파일을 바꾸고, 명령을 실행하고, 외부로 내보냅니다. 실수의 성격이 "틀린 답"에서 "되돌리기 어려운 행동"으로 바뀌었어요.
에이전트가 '정리'를 삭제로 해석할 수 있습니다. 실행은 몇 초면 끝나고, 알아채는 건 며칠 뒤예요. 무엇이 지워졌는지 목록조차 안 남으면 복구가 사실상 불가능합니다.
삭제 명령 자체가 차단되고, 이동 계획을 표로 먼저 보여준 뒤 승인을 받습니다. 실행 결과는 자동으로 기록에 남아 언제든 되돌릴 수 있어요.
공공 영역의 프레임워크도 같은 방향을 봅니다. 미국 표준기술연구소의 AI 위험관리 프레임워크는 통치, 지도, 측정, 관리 네 기능을 축으로 삼고, 실행 지침을 별도 플레이북으로 제공해요. 개념은 조직용이지만, 개인 워크스페이스에도 그대로 축소해 적용할 수 있습니다.
출처, NIST AI Risk Management Framework
여섯 가지 통제
권한 경계 - 필요한 곳만 열어준다
에이전트에게 컴퓨터 전체를 줄 이유가 없어요. 작업 폴더 단위로 접근을 좁히고, 도구별로 허용과 거부 목록을 설정 파일에 명시합니다. Claude Code는 설정 파일 계층을 두고 조직 관리 설정이 개인 설정보다 우선하도록 되어 있어서, 팀 단위로 하한선을 강제할 수 있어요.
출처, Claude Docs Settings
차단 규칙 - 되돌릴 수 없는 것은 물리적으로 막는다
"조심해서 써라"는 통제가 아닙니다. 재귀 삭제, 강제 초기화처럼 되돌릴 수 없는 명령은 실행 직전에 가로채 차단해야 해요. 실무에서 배운 건 차단을 두 겹으로 두라는 것입니다. 한 겹은 명령 자체를 보고 막고, 다른 한 겹은 스크립트 안에 숨어 들어간 형태를 봅니다. 위험한 문자열은 명령줄이 아니라 실행 파일 내부에 들어 있는 경우가 많거든요.
승인 게이트 - 계획을 먼저 보고 실행은 나중에
차단이 "절대 안 되는 것"이라면, 승인은 "조건부로 되는 것"을 다뤄요. 파일 이동, 대량 변경, 외부 발송이 여기 해당돼요. 요령은 승인 대상을 결과가 아니라 계획으로 잡는 겁니다. 무엇을 어디로 옮길지 표로 먼저 받으면 검토가 30초면 끝나요. 반대로 다 끝난 뒤에 보고받으면 그건 승인이 아니라 통보입니다.
에이전트 신원 - 사람 계정을 빌려 쓰게 두지 않는다
가장 많이 빠뜨리는 통제예요. 자동화가 늘면 에이전트는 내 계정과 내 키로 외부 서비스에 접속하게 돼요. 이러면 사고가 났을 때 사람이 한 일과 에이전트가 한 일을 구분할 수 없습니다. 감사 기록에 남는 주체가 동일하니까요.
해법은 셋이에요. 자동화 전용 자격을 따로 발급하고, 권한 범위를 그 작업에 필요한 최소로 좁히고, 읽기만 필요한 작업에는 읽기 전용 자격을 줍니다. 특히 감사나 점검 목적의 에이전트에 쓰기 권한을 주지 마세요. 점검하러 들어가서 고쳐놓고 나오는 사고가 실제로 납니다.
흔적 - 되돌릴 수 있으면 대담해질 수 있다
거버넌스는 자율성을 줄이는 장치로 오해받는데, 잘 만들면 반대예요. 모든 변경이 자동으로 기록되고 언제든 이전 상태로 돌아갈 수 있으면, 오히려 더 많은 권한을 맡길 수 있습니다. 작업이 끝날 때마다 변경분을 자동으로 커밋해두는 것만으로도 대부분의 사고가 복구 가능한 사고로 바뀝니다.
기록은 결과만 남기면 부족해요. 무엇을 왜 그렇게 결정했는지가 같이 남아야 나중에 판단을 재구성할 수 있습니다.
상한과 차단기 - 폭주는 성능이 아니라 회로로 막는다
에이전트는 지치지 않습니다. 실패하면 재시도하고, 재시도가 실패하면 또 합니다. 그래서 자동화에는 사람이 없어도 스스로 멈추는 지점이 필요해요. 재시도 횟수 상한, 하루 실행 횟수 상한, 비용 상한, 그리고 이상 징후가 반복되면 아예 회로를 끊는 차단기입니다.
실제로 비용이 튀는 경우를 보면 자동화가 폭주해서가 아니라, 사람이 튜닝하느라 같은 작업을 하루에 열 번 수동으로 돌린 날이었어요. 상한은 에이전트뿐 아니라 사람에게도 필요합니다.
거버넌스 측정 핵심 지표
통제를 심었으면 작동하는지 봐야죠. 실무에서 의미가 있었던 지표는 다섯 개입니다. 전부 세기 쉬운 것들이에요.
| 지표 | 무엇을 보나 | 나쁜 신호 |
|---|---|---|
| 차단 건수 | 위험 명령이 실제로 걸린 횟수 | 계속 0이면 차단 규칙이 안 걸려 있을 가능성 |
| 승인 대기 시간 | 계획 제출부터 사람 승인까지 걸린 시간 | 길어지면 사람이 게이트를 우회하기 시작합니다 |
| 복구 소요 시간 | 잘못된 변경을 되돌리는 데 걸린 시간 | 측정 자체가 안 되면 흔적 통제가 없는 것 |
| 무소음 실패율 | 오류 없이 끝났지만 결과가 0건인 실행 비율 | 이걸 성공으로 세고 있다면 지표 설계부터 틀렸습니다 |
| 상한 도달 횟수 | 재시도, 비용, 실행 횟수 상한에 걸린 빈도 | 잦으면 상한이 아니라 설계를 고쳐야 한다는 신호 |
자율 수준을 한 칸씩 올리는 법
처음부터 전부 맡기거나 전부 승인받는 것 둘 다 실패해요. 작업 종류별로 아래 사다리에서 지금 위치를 정하고, 사고 없이 한 달이 지나면 한 칸 올리세요.
| 수준 | 사람의 역할 | 맞는 작업 |
|---|---|---|
| 0단계 | 모든 실행을 건건이 승인 | 처음 붙이는 자동화, 외부 발송 |
| 1단계 | 계획만 승인하고 실행은 위임 | 파일 정리, 대량 변경 |
| 2단계 | 결과만 사후 검토 | 수집, 집계, 초안 생성 |
| 3단계 | 이상 신호가 올 때만 개입 | 매일 반복되는 정형 파이프라인 |
3단계까지 간 작업이라도 되돌리기 어려운 행동은 영원히 0단계로 남겨두세요. 자율 수준은 작업 단위로 다르게 매기는 게 맞고, 전부를 한 수준으로 통일하려는 순간 무너집니다.
이번 주에 할 수 있는 것
- 1일차 - 에이전트가 접근할 수 있는 폴더 범위를 확인하고 필요 없는 곳을 닫습니다.
- 2일차 - 삭제와 초기화 계열 명령을 차단 목록에 넣고, 실제로 막히는지 한 번 시험해봅니다.
- 3일차 - 되돌리기 어려운 작업 목록을 만들고 승인 게이트를 겁니다.
- 4일차 - 자동화가 쓰는 외부 자격을 개인 계정과 분리하고 권한을 최소로 좁힙니다.
- 5일차 - 작업 종료 시 변경분이 자동 기록되게 하고, 되돌리는 절차를 한 번 연습해둡니다.
훅으로 이 통제들을 실행 경로에 거는 방법은 6편 Hooks에, 자동화 회로 자체를 만드는 순서는 17편 업무 자동화에 있어요. 개념 정의는 AI 거버넌스 용어 정리에서 짧게 확인할 수 있습니다.
거버넌스를 문서로 만들면 아무도 안 읽습니다. 실제로 겪어보니 규칙이 문서에 적혀 있는데도 사고가 났던 경험이 전환점이었어요. 지켜야 할 것을 사람의 기억에 맡기는 한, 규칙은 사고 뒤에 "적혀 있었는데"라고 확인하는 용도로만 쓰입니다.
그래서 이 여섯 가지를 고를 때 기준은 하나였습니다. 사람이 잊어도 작동하는가. 잊어도 작동하면 통제고, 기억해야 작동하면 그건 그냥 다짐이에요.
자주 묻는 것
AI 에이전트 거버넌스가 정확히 뭔가요?
개인이 쓰는 워크스페이스에도 필요한가요?
NIST 같은 프레임워크를 그대로 쓰면 되나요?
거버넌스를 걸면 작업 속도가 느려지지 않나요?
- 비개발자가 Claude Code를 '워크스페이스'로 쓴다는 것
- 첫 세팅 - 설치부터 초기 설정까지
- CLAUDE.md - 정체성, 규칙 새기기
- 서브에이전트 - 만들기와 이어 쓰기
- Skills - 필요할 때만 펴는 능력
- Hooks - 브리핑, 검토게이트, 자동 백업
- MCP - 시트, 드라이브 외부 도구 연결
- 여러 PC에서 이어쓰기 + 한글, 실무 함정
- 고급 - 에이전트 팀, 워크플로우, 뷰
- 진화 이야기 ① 프롬프트 엔지니어링의 한계
- 진화 이야기 ② 컨텍스트 엔지니어링 실전
- 진화 이야기 ③ 하네스 엔지니어링
- 진화 이야기 ④ 루프 엔지니어링
- 클로드 요금제 - Free, Pro, Max, Team
- Claude Cowork - 터미널 없는 Claude Code
- Anthropic이란 - Claude를 만드는 회사
- 클로드 업무 자동화 - 반복 업무 넘기는 4단계
- AI 에이전트 거버넌스 플레이북 (지금 읽는 글)