연구소/벤더
Liquid AI의 LFM2.5-230M 온디바이스 추론 지원 확대, llama.cpp, MLX, vLLM 등 지원
Liquid AI가 자신의 작은 언어 모델 LFM2.5 230M을 휴대폰이나 노트북 같은 개인 기기에서 바로 실행할 수 있도록 준비했다는 거예요
Meta AI
태그
온디바이스 추론
‘온디바이스 추론’ 태그가 달린 글 2건
AI 트렌드
연구소/벤더
Gemini Nano Multi-Token Prediction 동결 모델 적용, Pixel 온디바이스 추론 50% 가속
휴대폰 안에서 AI가 한 번에 여러 단어를 동시에 예측하도록 해서 텍스트를 훨씬 빠르게 만드는 거예요
Google Research