Datadog Observability Pipelines란, Microsoft Sentinel 보안 로그 자동 매핑 방법

AS-IS, 벤더마다 다른 로그 형식을 수작업으로 맞췄다

Microsoft Sentinel은 쿼리와 분석 규칙을 돌리려면 텔레메트리 데이터가 정해진 테이블 스키마로 들어와야 하는데요, 방화벽이나 VPN, 네트워크 탐지 로그는 벤더마다 형식이 제각각이라 소스별 매핑을 유지하기가 환경이 커질수록 어려워집니다. 원문 예시를 보면 Cisco ASA 로그를 다루는 보안 엔지니어는 거부된 연결을 찾는 규칙을 짜려면 어떤 ASA 메시지 코드가 연결 거부를 의미하는지 알아야 하고, 원본 메시지에서 출발지 IP, 목적지 IP, 포트, 프로토콜을 직접 식별해야 했습니다.

이번 내용, Pack 하나로 매핑이 파이프라인에서 끝난다

Microsoft Sentinel Packs는 특정 소스의 로그를 Sentinel 테이블 스키마로 변환하는 사전 구성된 매핑을 담고 있어서, 로그가 Sentinel에 도달하기 전에 파이프라인에서 정규화됩니다. Palo Alto Networks Pack은 traffic, threat, system, config, GlobalProtect, decryption, correlation, HIP Match, User-ID, IPTag 등 10가지 PAN-OS 로그 유형을 CommonSecurityLog로 매핑하면서 로그 유형별로 LogSeverity를 도출합니다. Fortinet Pack은 FortiGate의 traffic, UTM, IPS, VPN, 인증 이벤트를 CommonSecurityLog로 매핑하고 Sentinel에서 직접 들어오는 FortiGate 로그도 감지합니다. Cisco ASA Pack은 접근 제어, 연결, VPN, 인증 이벤트를 CommonSecurityLog로 매핑하면서 ASA 메시지 코드에서 LogSeverity와 DeviceAction을 도출하고요, Cisco Meraki Pack은 flow, VPN 방화벽, IP flow, URL, 이벤트 로그를 Syslog 테이블로 매핑합니다. ExtraHop Pack은 Reveal(x) 탐지 결과에 위험도 태그를 붙이고 공격자와 피해자 IP를 추출하며, 설정한 위험 임계치 이하의 저위험 탐지는 걸러냅니다.

실무 적용 포인트

Pack을 추가하면 Sentinel의 분석 규칙이 원본 ASA syslog 메시지를 파싱하는 대신 CommonSecurityLog 필드를 바로 타깃으로 삼을 수 있어요. Cisco ASA, Fortinet, Palo Alto처럼 서로 다른 소스에 걸쳐 있는 의심스러운 아웃바운드 활동을 조사할 때도, 공통 스키마 덕분에 SourceIP, DestinationIP, DeviceAction 같은 CommonSecurityLog 필드로 여러 소스를 나란히 쿼리할 수 있습니다. 비용 관리 측면에서는 매핑이 로그가 환경을 떠나기 전에 적용되니 어떤 데이터를 Sentinel로 보낼지 결정할 수 있는데요, 예를 들어 거부된 연결, 인증 실패, 고위험 위협은 Sentinel로 보내고 전체 원본 로그는 저비용 스토리지로 라우팅하면서 반복적인 허용 이벤트는 드롭하는 식입니다. Pack을 추가한 뒤에는 Datadog Live Capture로 프로덕션 로그 샘플이 파이프라인을 통과하는 과정에서 매핑 결과를 검증할 수 있습니다. Pack은 Observability Pipelines의 Packs 갤러리에서 직접 찾아 추가하면 됩니다.

자주 묻는 질문

datadog 란

Datadog은 인프라 모니터링, 로그 관리, 애플리케이션 성능 관리를 아우르는 옵저버빌리티 플랫폼입니다. Observability Pipelines는 그중 로그 같은 텔레메트리 데이터를 수집해서 여러 목적지에 맞게 변환, 필터링, 라우팅하는 파이프라인 제품이에요.

sentry datadog 비교

이번 원문은 Sentry와의 비교를 다루지 않고 Datadog Observability Pipelines와 Microsoft Sentinel SIEM 간의 연동만 설명합니다. Sentry는 주로 애플리케이션 에러 추적에 특화된 도구고 Datadog은 인프라, 로그, 보안 데이터까지 아우르는 범위가 더 넓은 플랫폼이라는 정도로 구분하면 됩니다.

Microsoft Sentinel Packs는 어떤 벤더를 지원하나요

초기 릴리스 기준으로 Palo Alto Networks, Fortinet, Cisco ASA, Cisco Meraki, ExtraHop 다섯 벤더를 지원합니다. 각 Pack은 사전 구성된 매핑 로직을 담고 있어서 소스마다 매핑을 처음부터 만들 필요가 없어요.

Pack을 추가하면 Sentinel 수집 비용이 줄어드나요

매핑이 파이프라인 단계에서 먼저 적용되기 때문에 Sentinel로 보낼 데이터를 선별할 수 있습니다. 원문에 따르면 거부된 연결이나 고위험 위협 같은 고가치 데이터는 Sentinel로 보내고 반복적인 허용 이벤트는 드롭하며 전체 원본 로그는 저비용 스토리지로 보내는 방식으로 GB당 수집 비용을 관리할 수 있어요.