HuggingFace
Liquid AI DSpark, LFM2.5 추론 속도 최대 3.2배 개선
한마디로
작은 초안 모델이 먼저 답을 예측하고 큰 모델이 한 번에 검증하는 방식으로 AI 응답 속도를 GPU에서 최대 3.18배, 온디바이스에서 최대 2.87배까지 끌어올렸어요
무슨 내용인가
Liquid AI가 LFM2.5 모델용으로 DSpark라는 추측 디코딩 기법을 적용해 추론 속도를 크게 높였다고 밝혔어요. DSpark는 DFlash 스타일의 병렬 백본, 인접 토큰 간 의존성을 반영하는 경량 순차 헤드, 신뢰도 기반 검증기 세 가지를 결합한 방식인데요. H100 GPU에서는 최대 3.18배, M4 Max 맥북의 온디바이스 환경에서는 최대 2.87배 처리량 향상을 확인했고, LFM2.5-2.6B 모델은 함수 호출 지연시간을 평균 57% 줄였다고 합니다. llama.cpp와 SGLang을 통한 day-one 지원과 함께 DSpark 초안 모델 체크포인트가 Hugging Face에 Safetensors와 GGUF 형식으로 공개됐어요.
에디터 노트 | FactStack
추측 디코딩 자체는 새롭지 않지만, 이번 발표에서 눈여겨볼 대목은 온디바이스 환경에서 2.87배라는 수치예요. 서버 GPU야 원래 최적화 여지가 크지만 M4 Max 맥북에서 이 정도 개선이 나왔다는 건 로컬 에이전트나 오프라인 챗봇을 준비하는 팀에 실질적인 옵션이 하나 늘었다는 뜻입니다. 다만 함수 호출 지연시간 57% 감소는 LFM2.5-2.6B라는 특정 모델 크기, 특정 태스크 기준값이라 자사 파이프라인에 그대로 대입하면 안 되고, Safetensors와 GGUF 체크포인트를 실제 워크로드로 벤치마크해본 뒤 채택 여부를 판단하는 게 맞습니다.
실무 시사점
온디바이스 AI 에이전트나 챗봇 서비스를 개발하는 실무자라면 함수 호출 지연시간 감소 효과를 직접 검토해볼 만합니다
태그
용어 풀이
- LFM2.5
- Liquid AI가 만든 언어 모델 시리즈로 온디바이스 실행에 최적화됐어요
- DSpark
- 작은 초안 모델과 큰 모델을 결합해 추론 속도를 높이는 추측 디코딩 기법이에요
- speculative decoding
- 경량 모델이 먼저 후보 토큰을 만들고 본 모델이 한 번에 검증해 속도를 높이는 기법이에요
- on-device inference
- 클라우드 서버가 아니라 사용자 기기에서 직접 AI 연산을 처리하는 방식이에요
공유