Datadog AI-native SAST란, LLM 앱 취약점 개발 단계서 잡는 법

기존 SAST가 LLM 앱을 못 잡는 이유

AI 코딩 도구 덕분에 개발자들은 LLM 애플리케이션을 빠르게 만들고 배포할 수 있게 됐는데요, 이 속도에는 새로운 보안 위험이 따라옵니다. 패턴 기반의 전통적인 SAST 도구는 프롬프트 주입 싱크나 노출된 시스템 프롬프트 같은 LLM 특유의 이슈를 탐지하도록 설계되지 않았어요. 이런 취약점은 애플리케이션이 이미 프로덕션에서 돌아가고 나서야 드러나는 경우가 많고, 그 시점에서는 수정이 더 어렵고 비용도 커집니다. 전통 SAST 룰은 너무 넓게 잡으면 노이즈가 늘고 너무 좁게 잡으면 실제 취약점을 놓치는 트레이드오프가 있었는데, Datadog은 룰 매칭을 넘어 LLM으로 코드 맥락과 데이터 흐름을 추론하고 후보 발견 사항을 독립적으로 검증하는 방식을 택했습니다.

OWASP Top 10 for LLM Applications 커버 방식

OWASP Top 10 for LLM Applications는 LLM을 쓰는 애플리케이션에 특화된 취약점 유형을 정리한 업계 표준 참조 자료로, 전통적인 OWASP Top 10의 LLM 버전이에요. 사용자 입력이 모델에 도달하는 방식, 모델 출력이 하류에서 처리되는 방식, LLM이 수행하는 행동이 승인됐는지 등을 다룹니다. Datadog Code Security의 AI-native SAST는 이 목록 전체에 대한 커버리지를 제공하고, Python, Go, Java, C#, TypeScript, JavaScript에서 사용할 수 있어요.

취약점 유형별 탐지 방식 세 가지

프롬프트 주입(LLM01)은 외부 입력이 정제 없이 LLM 프롬프트에 직접 삽입돼 모델이 공격자가 통제하는 데이터를 지시로 취급하게 되는 경우예요. Datadog은 오염 분석으로 신뢰할 수 없는 입력이 LLM 호출에 도달하는 경로를 추적합니다. 예를 들어 Go 핸들러가 쿼리 파라미터를 읽어 프롬프트에 그대로 이어붙이는 코드가 있다면, 사용자 쿼리를 오염원으로 LLM 호출을 싱크로 삼아 그 사이 흐름을 추적하고 검증 없이 도달하는 경로를 표시합니다.

과도한 자율성(LLM03)은 LLM이 적절한 권한 확인 없이 코드 실행, 외부 API 호출, 데이터 수정 같은 중요한 행동을 하는 경우인데요, 이걸 탐지하려면 LLM이 어떤 권한을 부여받았는지 먼저 파악해야 하기 때문에 제어 흐름 분석이 필요합니다. 셸과 파일 시스템에 무제한 접근 권한을 가진 도구로 에이전트를 초기화하는 Python 코드가 있다면, 권한 제한이나 승인 확인 없이 반환되는 지점을 찾아냅니다. 여러 호출자나 조건 분기를 통해 같은 에이전트 설정에 도달할 수 있는 더 큰 애플리케이션에서도 제어 흐름 분석으로 최소 하나의 경로가 필요한 제한 없이 에이전트를 초기화하는 경우를 표시할 수 있어요.

숨겨진 컨텍스트 노출(LLM08)은 시스템 프롬프트, 툴 스키마, RAG로 검색된 콘텐츠, 개발자 지시사항처럼 사용자에게 노출되면 안 되는 민감 정보가 로그에 기록되거나 API 응답으로 반환되는 경우예요. Datadog은 패턴 매칭으로 시스템 프롬프트 내용을 노출하는 코드를 식별하는데요, 예를 들어 Java 메서드가 시스템 프롬프트를 애플리케이션 로그에 그대로 쓰는 경우가 이에 해당합니다. AI 코딩 어시스턴트가 시스템 프롬프트 내용을 포함한 디버그 로깅을 생성해서 이런 노출을 만들어내기도 해요.

실무 적용 포인트

자체 LLM 애플리케이션이나 에이전트를 개발 중이라면 다음을 체크해볼 만합니다. 첫째, 사용 언어가 Python, Go, Java, C#, TypeScript, JavaScript 중 하나인지 확인하고 도입 가능 여부를 검토하세요. 둘째, 풀 리퀘스트 코멘트와 CI 체크(PR Gates)로 결과가 노출되는 만큼 기존 코드 리뷰 프로세스에 자연스럽게 얹을 수 있는지 살펴보는 게 좋습니다. 셋째, 프롬프트 주입뿐 아니라 과도한 자율성, 시스템 프롬프트 노출까지 함께 점검하는 구조이므로 에이전트형 기능을 개발 중이라면 우선순위를 높여 검토해보세요. Datadog 계정이 없다면 14일 무료 체험으로 시작할 수 있습니다.

자주 묻는 질문

datadog 란

Datadog은 인프라 모니터링, 로그 분석, 애플리케이션 성능 관리(APM), 보안 등을 통합 제공하는 클라우드 관측성 플랫폼이에요. 이번에 다룬 Code Security의 AI-native SAST는 이 플랫폼 안에서 개발 단계 코드 보안을 담당하는 기능입니다.

sentry datadog 비교

원문에는 Sentry와의 직접 비교 내용이 없어요. 다만 Sentry가 주로 에러 트래킹과 예외 모니터링에 초점을 맞춘다면, Datadog은 인프라 모니터링부터 이번 사례처럼 개발 단계 보안 스캐닝까지 범위가 더 넓다는 점이 차이로 언급될 수 있습니다.

AI-native SAST는 어떤 언어를 지원하나요

Python, Go, Java, C#, TypeScript, JavaScript에서 사용할 수 있습니다.

탐지 결과는 어디서 확인하나요

Datadog 플랫폼 안에서 풀 리퀘스트 코멘트로 표시되고, CI 체크인 PR Gates를 통해서도 확인할 수 있어요.