The Brief FactStack이 되었습니다

FactStack
Claude Code 실전, 18편

AI 에이전트 거버넌스 플레이북
- 권한을 주되 사고는 막는 6가지 통제

AI 엔지니어링||10분 분량
한마디로

에이전트 거버넌스는 문서로 만드는 정책이 아니라 실행 경로에 심는 회로입니다. 통제는 여섯 개예요. 권한 경계, 차단 규칙, 승인 게이트, 에이전트 신원, 흔적, 상한. 이걸 사람이 매번 지키는 규율이 아니라 시스템이 강제하는 구조로 만들어야 자율성을 늘려도 사고가 안 납니다.

왜 지금 이 이야기가 필요한가

에이전트가 답만 하던 시절에는 거버넌스가 필요 없었어요. 틀리면 안 쓰면 그만이었으니까요. 그런데 지금 에이전트는 파일을 바꾸고, 명령을 실행하고, 외부로 내보냅니다. 실수의 성격이 "틀린 답"에서 "되돌리기 어려운 행동"으로 바뀌었어요.

장면, 폴더 정리를 맡겼을 때나:"이 폴더 오래된 파일들 정리해줘"
✕ 통제 없이 권한만 준 경우

에이전트가 '정리'를 삭제로 해석할 수 있습니다. 실행은 몇 초면 끝나고, 알아채는 건 며칠 뒤예요. 무엇이 지워졌는지 목록조차 안 남으면 복구가 사실상 불가능합니다.

✓ 여섯 통제를 심어둔 경우

삭제 명령 자체가 차단되고, 이동 계획을 표로 먼저 보여준 뒤 승인을 받습니다. 실행 결과는 자동으로 기록에 남아 언제든 되돌릴 수 있어요.

→ 사고 확률이 낮아지는 게 아니라, 사고가 나도 복구 가능한 상태가 됩니다

공공 영역의 프레임워크도 같은 방향을 봅니다. 미국 표준기술연구소의 AI 위험관리 프레임워크는 통치, 지도, 측정, 관리 네 기능을 축으로 삼고, 실행 지침을 별도 플레이북으로 제공해요. 개념은 조직용이지만, 개인 워크스페이스에도 그대로 축소해 적용할 수 있습니다.

출처, NIST AI Risk Management Framework

여섯 가지 통제

CONTROL 1

권한 경계 - 필요한 곳만 열어준다

에이전트에게 컴퓨터 전체를 줄 이유가 없어요. 작업 폴더 단위로 접근을 좁히고, 도구별로 허용과 거부 목록을 설정 파일에 명시합니다. Claude Code는 설정 파일 계층을 두고 조직 관리 설정이 개인 설정보다 우선하도록 되어 있어서, 팀 단위로 하한선을 강제할 수 있어요.

출처, Claude Docs Settings

CONTROL 2

차단 규칙 - 되돌릴 수 없는 것은 물리적으로 막는다

"조심해서 써라"는 통제가 아닙니다. 재귀 삭제, 강제 초기화처럼 되돌릴 수 없는 명령은 실행 직전에 가로채 차단해야 해요. 실무에서 배운 건 차단을 두 겹으로 두라는 것입니다. 한 겹은 명령 자체를 보고 막고, 다른 한 겹은 스크립트 안에 숨어 들어간 형태를 봅니다. 위험한 문자열은 명령줄이 아니라 실행 파일 내부에 들어 있는 경우가 많거든요.

CONTROL 3

승인 게이트 - 계획을 먼저 보고 실행은 나중에

차단이 "절대 안 되는 것"이라면, 승인은 "조건부로 되는 것"을 다뤄요. 파일 이동, 대량 변경, 외부 발송이 여기 해당돼요. 요령은 승인 대상을 결과가 아니라 계획으로 잡는 겁니다. 무엇을 어디로 옮길지 표로 먼저 받으면 검토가 30초면 끝나요. 반대로 다 끝난 뒤에 보고받으면 그건 승인이 아니라 통보입니다.

▶ Claude Code에 이렇게 입력하세요 (승인 게이트 세우기)
앞으로 [파일 이동, 삭제, 외부 발송] 작업은 실행 전에 변경 전과 변경 후를 표로 먼저 보여주고 내 승인을 받아. 승인 없이 실행하지 말고, 계획이 20건을 넘으면 먼저 요약부터 줘.
CONTROL 4

에이전트 신원 - 사람 계정을 빌려 쓰게 두지 않는다

가장 많이 빠뜨리는 통제예요. 자동화가 늘면 에이전트는 내 계정과 내 키로 외부 서비스에 접속하게 돼요. 이러면 사고가 났을 때 사람이 한 일과 에이전트가 한 일을 구분할 수 없습니다. 감사 기록에 남는 주체가 동일하니까요.

해법은 셋이에요. 자동화 전용 자격을 따로 발급하고, 권한 범위를 그 작업에 필요한 최소로 좁히고, 읽기만 필요한 작업에는 읽기 전용 자격을 줍니다. 특히 감사나 점검 목적의 에이전트에 쓰기 권한을 주지 마세요. 점검하러 들어가서 고쳐놓고 나오는 사고가 실제로 납니다.

CONTROL 5

흔적 - 되돌릴 수 있으면 대담해질 수 있다

거버넌스는 자율성을 줄이는 장치로 오해받는데, 잘 만들면 반대예요. 모든 변경이 자동으로 기록되고 언제든 이전 상태로 돌아갈 수 있으면, 오히려 더 많은 권한을 맡길 수 있습니다. 작업이 끝날 때마다 변경분을 자동으로 커밋해두는 것만으로도 대부분의 사고가 복구 가능한 사고로 바뀝니다.

기록은 결과만 남기면 부족해요. 무엇을 왜 그렇게 결정했는지가 같이 남아야 나중에 판단을 재구성할 수 있습니다.

CONTROL 6

상한과 차단기 - 폭주는 성능이 아니라 회로로 막는다

에이전트는 지치지 않습니다. 실패하면 재시도하고, 재시도가 실패하면 또 합니다. 그래서 자동화에는 사람이 없어도 스스로 멈추는 지점이 필요해요. 재시도 횟수 상한, 하루 실행 횟수 상한, 비용 상한, 그리고 이상 징후가 반복되면 아예 회로를 끊는 차단기입니다.

실제로 비용이 튀는 경우를 보면 자동화가 폭주해서가 아니라, 사람이 튜닝하느라 같은 작업을 하루에 열 번 수동으로 돌린 날이었어요. 상한은 에이전트뿐 아니라 사람에게도 필요합니다.

거버넌스 측정 핵심 지표

통제를 심었으면 작동하는지 봐야죠. 실무에서 의미가 있었던 지표는 다섯 개입니다. 전부 세기 쉬운 것들이에요.

지표무엇을 보나나쁜 신호
차단 건수위험 명령이 실제로 걸린 횟수계속 0이면 차단 규칙이 안 걸려 있을 가능성
승인 대기 시간계획 제출부터 사람 승인까지 걸린 시간길어지면 사람이 게이트를 우회하기 시작합니다
복구 소요 시간잘못된 변경을 되돌리는 데 걸린 시간측정 자체가 안 되면 흔적 통제가 없는 것
무소음 실패율오류 없이 끝났지만 결과가 0건인 실행 비율이걸 성공으로 세고 있다면 지표 설계부터 틀렸습니다
상한 도달 횟수재시도, 비용, 실행 횟수 상한에 걸린 빈도잦으면 상한이 아니라 설계를 고쳐야 한다는 신호
지표를 볼 때 함정 차단 건수가 0이면 안전한 게 아니라 감시가 꺼져 있을 가능성을 먼저 의심하세요. 여러 자동화가 동시에 돌면서 오류가 하나도 안 잡히는 상태는 대개 집계가 고장 난 것이지 완벽한 것이 아닙니다.

자율 수준을 한 칸씩 올리는 법

처음부터 전부 맡기거나 전부 승인받는 것 둘 다 실패해요. 작업 종류별로 아래 사다리에서 지금 위치를 정하고, 사고 없이 한 달이 지나면 한 칸 올리세요.

수준사람의 역할맞는 작업
0단계모든 실행을 건건이 승인처음 붙이는 자동화, 외부 발송
1단계계획만 승인하고 실행은 위임파일 정리, 대량 변경
2단계결과만 사후 검토수집, 집계, 초안 생성
3단계이상 신호가 올 때만 개입매일 반복되는 정형 파이프라인

3단계까지 간 작업이라도 되돌리기 어려운 행동은 영원히 0단계로 남겨두세요. 자율 수준은 작업 단위로 다르게 매기는 게 맞고, 전부를 한 수준으로 통일하려는 순간 무너집니다.

이번 주에 할 수 있는 것

  • 1일차 - 에이전트가 접근할 수 있는 폴더 범위를 확인하고 필요 없는 곳을 닫습니다.
  • 2일차 - 삭제와 초기화 계열 명령을 차단 목록에 넣고, 실제로 막히는지 한 번 시험해봅니다.
  • 3일차 - 되돌리기 어려운 작업 목록을 만들고 승인 게이트를 겁니다.
  • 4일차 - 자동화가 쓰는 외부 자격을 개인 계정과 분리하고 권한을 최소로 좁힙니다.
  • 5일차 - 작업 종료 시 변경분이 자동 기록되게 하고, 되돌리는 절차를 한 번 연습해둡니다.

훅으로 이 통제들을 실행 경로에 거는 방법은 6편 Hooks에, 자동화 회로 자체를 만드는 순서는 17편 업무 자동화에 있어요. 개념 정의는 AI 거버넌스 용어 정리에서 짧게 확인할 수 있습니다.

에디터 노트, FactStack

거버넌스를 문서로 만들면 아무도 안 읽습니다. 실제로 겪어보니 규칙이 문서에 적혀 있는데도 사고가 났던 경험이 전환점이었어요. 지켜야 할 것을 사람의 기억에 맡기는 한, 규칙은 사고 뒤에 "적혀 있었는데"라고 확인하는 용도로만 쓰입니다.

그래서 이 여섯 가지를 고를 때 기준은 하나였습니다. 사람이 잊어도 작동하는가. 잊어도 작동하면 통제고, 기억해야 작동하면 그건 그냥 다짐이에요.

자주 묻는 것

AI 에이전트 거버넌스가 정확히 뭔가요?
에이전트에게 권한을 주면서도 통제 가능한 상태를 유지하는 체계예요. 권한 범위를 정하고, 위험한 행동을 차단하고, 되돌리기 어려운 작업에는 승인을 끼우고, 누가 무엇을 했는지 기록으로 남기는 것까지 포함해요. 핵심은 정책 문서가 아니라 실행 경로에 심긴 장치라는 점입니다.
개인이 쓰는 워크스페이스에도 필요한가요?
필요해요. 오히려 개인 환경이 더 위험한 면이 있어요. 승인 절차도, 감사 로그도 기본으로 없으니까요. 다만 전부 갖출 필요는 없고, 차단 규칙과 자동 기록 두 가지만 먼저 걸어도 복구 불가능한 사고는 대부분 막힙니다.
NIST 같은 프레임워크를 그대로 쓰면 되나요?
방향을 잡는 데는 좋지만 그대로 옮기면 조직용 문서 작업이 돼요. 개인이나 소규모 팀은 통제 여섯 개와 지표 다섯 개처럼 실행 가능한 크기로 줄여서 시작하고, 규모가 커질 때 프레임워크 용어에 맞춰 정리하는 순서를 권해요.
거버넌스를 걸면 작업 속도가 느려지지 않나요?
승인 게이트를 잘못 걸면 느려집니다. 그래서 승인 대상을 되돌리기 어려운 작업으로만 좁히는 게 중요해요. 나머지 통제(차단, 신원 분리, 자동 기록, 상한)는 평소에 존재를 느끼지 못합니다. 오히려 되돌릴 수 있다는 확신이 생기면 더 과감하게 위임하게 돼서 전체 속도는 올라가요.
공유

← Claude Code 실전 가이드 목록