FactStack

Datadog Translate, Import 활용, Splunk SPL 쿼리, 알림 이전 방법

데이터 신뢰성

한마디로

Splunk에서 쓰던 검색과 알림, 대시보드를 Datadog 형식으로 자동 변환해 옮겨 주는 도구예요

한눈에

Datadog Translate와 Import는 Splunk의 SPL로 만든 저장 검색, 알림, 대시보드를 Datadog으로 옮기는 앱 내 도구입니다. Translate는 개별 쿼리를 Datadog 로그 검색으로 바꾸고, Import는 Splunk 내보내기 파일을 올리면 알림을 모니터로, 대시보드를 위젯 단위로 변환해 초안 상태로 둬요. 손으로 다시 짜던 쿼리 재작성 부담이 줄어 마이그레이션 일정을 잡기 쉬워집니다.

로그 이전보다 자산 이전이 더 큰 일

로그를 새 플랫폼으로 옮기는 일은 마이그레이션의 일부일 뿐이에요. 몇 년간 쌓인 저장 검색, 알림, 대시보드에는 어떤 오류가 중요한지, 어떤 조건에서 호출 알림이 울리는지, 온콜 엔지니어가 가장 먼저 여는 화면이 무엇인지가 담겨 있습니다. 이 자산을 수작업으로 다시 만들려면 모든 자산을 목록으로 만들고, 새 쿼리 문법을 익히고, 검색을 하나씩 다시 쓰고, 결과가 같은지 직접 확인해야 해요. 숙련자에게도 오래 걸리고, 이 부담 때문에 마이그레이션이 늦어지거나 아예 막히기도 합니다.

Translate로 개별 쿼리 변환과 검증

Translate는 SPL 쿼리 하나를 Datadog 로그 검색으로 바꿔 줍니다. Log Management에서 Translate를 열고 쿼리를 붙여 넣으면 변환 결과와 함께 세 가지가 나와요.

  • SPL 파이프라인의 각 부분이 Datadog에서 무엇에 해당하는지 보여 주는 단계별 설명
  • 내 실제 로그를 기반으로 한 라이브 결과로, Splunk에서 보던 출력과 같은지 대조 가능
  • Log Explorer에서 검색 열기, 해당 검색으로 모니터 만들기 같은 빠른 실행

결과가 실제 데이터에서 나오니 문제를 바로 잡을 수 있습니다. 예를 들어 필드 이름이 Splunk와 Datadog에서 다르면, 그 쿼리 위에 무언가를 쌓기 전에 결과로 드러나요.

Import로 알림과 대시보드 일괄 변환

Import는 수백 개 자산을 하나씩 번역하다가 중요한 것을 놓치는 위험을 줄여 줍니다. Log Management에서 Import를 열고 앱 안내에 따라 Splunk에서 저장 검색, 알림, 대시보드를 내보내면 되고, Splunk 환경에는 아무것도 설치하지 않아도 됩니다. 내보낸 파일을 Datadog에 끌어다 놓으면 변환이 시작돼요.

  • Splunk 알림은 번역된 쿼리와 기존 트리거 조건을 가진 Datadog 모니터가 됩니다
  • Splunk 대시보드는 위젯 단위로 번역된 Datadog 대시보드가 됩니다

번역된 모니터와 대시보드 정의는 게시하기 전까지 초안으로 남아요. 원본 SPL과 비교하고 내 데이터로 결과를 확인한 뒤에 게시하면 됩니다. 게시하면 일반 Datadog 모니터와 대시보드가 만들어지므로 API와 Terraform으로도 똑같이 관리할 수 있습니다. 초기 접근 단계에서 한 디자인 파트너는 한 번에 62개 쿼리를 62개 모두 변환했고, 다른 팀은 Datadog Implementation Services의 도움을 받아 첫 작업에서 1,500개가 넘는 알림을 한꺼번에 올렸다고 합니다.

진행 상황 추적과 건너뛴 항목 처리

대규모 이전은 보통 한 팀, 한 Splunk 앱, 한 묶음의 핵심 알림씩 단계적으로 진행돼요. Import는 모든 업로드를 한 목록에 모아 둬서 별도 스프레드시트 없이 자산별 상태를 볼 수 있습니다. 업로드마다 번역된 항목, 건너뛴 항목, 이미 게시한 항목을 확인하고, 자산 유형이나 상태로 걸러서 남은 일에 집중할 수 있어요.

Datadog은 신뢰할 수 있게 변환하지 못한 자산을 잘못된 결과를 낼 수 있는 상태로 게시하지 않고 건너뜀으로 표시합니다. 보통 도구가 아직 지원하지 않는 SPL 명령이나 summary index 같은 Splunk 전용 기능에 의존하는 대시보드가 그 사유예요. 이런 항목은 SPL을 고쳐 다시 가져오거나, Translate에서 쿼리를 마무리하거나, Bits AI에 재작성을 요청하는 방법이 있습니다.

이전하면서 검색을 단순화하는 실무 포인트

번역만 해서 그대로 옮기면 빨리 쓸 수는 있지만, 마이그레이션은 덩치가 커진 검색을 정리할 기회이기도 해요. 원문이 제시한 대응 관계는 다음과 같습니다.

  • rex로 하던 검색 시점 필드 추출은 Tap to Parse로 정규식 없이 한 번에 구조화
  • lookup과 subsearch는 subquery와 Reference Table join으로 대체하고, 로그 모니터에도 적용 가능
  • 이메일로 결과를 보내던 예약 검색은 예약 CSV 리포트로 Log Explorer 결과를 이메일이나 Slack에 정기 전달
  • 길고 여러 단계인 파이프라인은 Notebooks 분석 셀로 변환을 연결하거나 SQL로 작성

체크리스트로 정리하면 이렇습니다. 먼저 핵심 알림 묶음부터 Import로 올리고, 건너뛴 항목의 사유를 분류하고, 초안을 원본 SPL과 비교한 뒤 팀 단위로 게시하세요. 가용 범위는 US1-FED를 제외한 모든 Datadog 사이트의 Log Management 고객이며 추가 비용은 없습니다.

에디터 노트

Splunk 환경에서 알림이 1,500개씩 쌓여 있는 조직이라면, 마이그레이션 최대 장벽인 쿼리 재작성을 도구가 덜어 준다는 점이 실무적으로 큽니다. 다만 변환 불가 항목은 건너뛴 채로 남기 때문에, summary index 같은 Splunk 전용 기능에 의존한 자산은 사람이 직접 설계해야 하고 초안 검증 단계를 생략하면 안 돼요. 추가 비용이 없으니 이전을 검토 중이라면 샘플 쿼리 몇 개를 Translate에 넣어 변환율부터 확인해 보세요.

참고 출처 | 원문 보기

태그

용어 풀이
Datadog
클라우드 모니터링과 로그 분석을 제공하는 관측 플랫폼
Splunk 마이그레이션
Splunk에서 쓰던 검색과 알림, 대시보드를 다른 플랫폼으로 옮기는 작업
SPL 쿼리 변환
Splunk 검색 언어 SPL로 쓴 쿼리를 다른 쿼리 형식으로 바꾸는 일
로그 관리
서비스와 시스템이 남기는 로그를 모으고 검색하고 분석하는 일
공유

관련 마테크