데이터 신뢰성Datadog
Kubernetes GPU 학습 스케줄링 최적화, Datadog으로 TAS와 gang scheduling 모니터링하는 법
쿠버네티스 기본 스케줄러는 분산 AI 학습에서 GPU 배치와 동시 시작을 보장 못 하는데, Kueue와 Coscheduling으로 이 문제를 잡고 Datadog으로 지표를 확인하는 방법이에요
태그
‘GPU 스케줄링’ 태그가 달린 글 2건
쿠버네티스 기본 스케줄러는 분산 AI 학습에서 GPU 배치와 동시 시작을 보장 못 하는데, Kueue와 Coscheduling으로 이 문제를 잡고 Datadog으로 지표를 확인하는 방법이에요
똑같은 GPU 클러스터인데 작업을 배치하는 순서만 바꿨더니 활용률이 최대 33%p, 우선순위 반영 산출량이 최대 105% 올라간 거예요