연구소/벤더
Scaled Dot Product Attention 백엔드별 성능 차이 프로파일링
Attention 연산을 구성하는 다양한 구현 방식(나이브 구현, 인플레이스 연산, SDPA 백엔드)이 GPU에서 어떻게 다르게 작동하는지 profiler로 보는 거예요
HuggingFace
태그
‘PyTorch optimization’ 태그가 달린 글 1건
Attention 연산을 구성하는 다양한 구현 방식(나이브 구현, 인플레이스 연산, SDPA 백엔드)이 GPU에서 어떻게 다르게 작동하는지 profiler로 보는 거예요