Datadog Observability Pipelines란, Exabeam 보안 로그 필터링 Packs로 SIEM 비용 줄이는 법

보안 로그 비용과 탐지 정확도, 둘 다 잡기 어려웠던 이유

엔터프라이즈 보안팀은 Exabeam을 SIEM 겸 UEBA(사용자, 개체 행동 분석) 플랫폼으로 써서 내부자 위협, 측면 이동, 권한 상승, 자격 증명 탈취, 데이터 유출을 탐지합니다. 이런 탐지는 Active Directory, Okta, Google Workspace 같은 신원 공급자, Windows 워크스테이션과 VPN 로그, 이메일, 협업 로그처럼 소수의 고신호 소스에서 쌓은 행동 베이스라인에 의존해요. 문제는 이 신호를 실어 나르는 방화벽, 엔드포인트, 웹 게이트웨이가 동시에 엄청난 양의 일상적 활동 로그도 쏟아낸다는 점입니다. 인터페이스 플랩, 연결 종료, 헬스체크 같은 로그는 수집, 보관 비용만 늘릴 뿐 베이스라인 정교화에는 도움이 안 되는데, 손으로 필터 규칙을 짜면 조사에 필요한 이벤트를 실수로 빼먹거나 Exabeam 파서가 기대하는 페이로드 형식을 깨뜨릴 위험이 있었어요.

이번에 나온 것, 소스별 사전 구성 필터링 Packs

이번 Exabeam Packs는 각 소스의 특성에 맞춘 드롭, 중복 제거, 샘플링 로직을 미리 구성해둔 형태예요. Cisco ASA Pack은 asa_code를 읽어서 인터페이스 플랩이나 연결 종료 같은 저가치 코드를 드롭하고 반복적인 고빈도 연결 이벤트는 하나로 합치면서도, 거부된 연결이나 VPN 활동, 고위험 알림은 유지합니다. FortiGate는 DNS 쿼리와 헬스체크, 내부 허용 트래픽을 드롭하면서 위협과 거부된 연결을 남기고, Palo Alto는 비어있거나 중복 시작된 PAN-OS 트래픽 로그를 드롭하되 Exabeam 파서용 원본 CSV는 그대로 둡니다. CrowdStrike FDR은 센서 텔레메트리와 양성 Windows 프로세스를 드롭하면서 탐지 필드는 모두 유지하고, SentinelOne Cloud Funnel은 DNS나 모듈 로드 같은 고용량 EDR 이벤트 타입을 샘플링하면서 위협, 프로세스 상세는 남깁니다. Windows Pack은 Exabeam 파서가 쓰는 코드로 이벤트 로그를 걸러내면서 Sysmon과 PowerShell 활동의 원본 XML은 그대로 유지하고, Zscaler는 일상적인 ZIA 웹, ZIA DNS, ZPA 트래픽을 필터링, 샘플링하면서 위험하거나 차단된 활동은 남겨둡니다. 신원, 협업 쪽은 Active Directory, Okta, Microsoft 365, Abnormal.ai용 목적지 무관 Packs로 별도 커버되는데, 예를 들어 Active Directory Pack은 Kerberos 이벤트를 파싱해 DCSync 복제 남용을 플래그하면서 일상적 갱신은 드롭하고, Okta Pack은 일상 로그인과 프로필 업데이트를 샘플링하면서 고가치 보안 이벤트는 유지해요.

실무 적용 포인트

각 Pack은 asa_code, win_event_code, event.type 같은 파싱된 필드나 사이드 필드로 필터링 여부를 결정하면서 syslog, CSV, XML 같은 원본 페이로드는 손대지 않기 때문에, 기존 Exabeam 탐지 규칙과 행동 모델이 같은 필드 위에서 그대로 작동합니다. 필터링된 데이터가 사라지는 것도 아니에요. 데이터가 자체 인프라 안에서, 외부로 나가기 전에 처리되니까 같은 스트림을 여러 목적지로 분기할 수 있고, 고가치 스트림은 Exabeam으로, 전체 보존본은 Amazon S3 같은 곳으로 보내 컴플라이언스와 보관을 맡길 수 있어요. 나중에 감사나 조사에서 필터링됐던 이벤트가 필요해지면 Replay가 Amazon S3, Azure Blob Storage, Google Cloud Storage에서 아카이브 로그를 꺼내 동일한 파싱, 보강, Pack 로직을 거쳐 Exabeam으로 보내줍니다. 특정 시간 범위나 이벤트 조각만 골라 가져올 수 있어서 필요한 만큼만 조회 가능해요. 적용 전 체크리스트로는 다음을 참고하면 됩니다.

• 어떤 소스(ASA, FortiGate, Palo Alto, CrowdStrike, SentinelOne, Windows, Zscaler)가 가장 많은 볼륨을 차지하는지 먼저 확인한다
• Pack 추가 후 Live Capture로 실제 프로덕션 로그 샘플에서 어떤 이벤트가 드롭, 중복 제거, 통과되는지 검증한다
• 보관이 필요한 전체 보존본은 S3 등으로 별도 라우팅해서 Exabeam 라이선스가 아니라 아카이브로 컴플라이언스를 충족시킨다
• 드롭하고 싶지 않은 추세성 데이터는 Generate Metrics로 count, gauge, distribution 지표화해서 개별 로그를 저장하지 않고도 스파이크를 감지한다

자주 묻는 질문

datadog 란 무엇인가요

Datadog은 인프라 모니터링, 로그 관리, 보안, APM 등을 아우르는 observability 플랫폼이에요. 이번에 소개한 Observability Pipelines는 그중 로그 데이터가 SIEM 같은 목적지에 도달하기 전 자체 인프라 안에서 필터링과 가공을 처리하는 기능입니다.

sentry datadog 비교는 어떻게 하나요

이번 원문에는 Sentry와의 직접 비교 내용이 없어서 답변드리기 어려워요. 다만 Datadog은 로그, 인프라, 보안을 포괄하는 종합 observability 플랫폼이고, 이번 Exabeam Packs는 그중 보안 로그를 SIEM으로 보내기 전 필터링하는 기능이라는 점은 참고할 만합니다.

Observability Pipelines Exabeam Packs는 어떤 소스를 지원하나요

초기 릴리스는 Cisco ASA, Fortinet FortiGate, Palo Alto, CrowdStrike Falcon Data Replicator, SentinelOne Cloud Funnel, Windows, Zscaler 7개 소스를 지원합니다. 신원과 협업 영역은 Active Directory, Okta, Microsoft 365, Abnormal.ai용 목적지 무관 Packs로 별도 제공돼요.

Pack으로 필터링하면 탐지가 누락되지 않나요

각 Pack은 asa_code나 win_event_code 같은 파싱된 필드로 필터링 여부를 결정하면서 원본 페이로드는 건드리지 않도록 설계됐어요. 거부된 연결, 고위험 알림, EDR 탐지, 프로세스 상세, Sysmon, PowerShell 활동처럼 고가치 신호는 모든 Pack에서 유지되고, 드롭된 데이터도 S3 등에 전체 보존본으로 남아 Replay로 다시 가져올 수 있습니다.