HuggingFace
NVIDIA Nemotron 3.5 Transcribe, 40개 언어 전사와 화자 구분을 프롬프트로 제어하는 오픈 모델
연구소/벤더원본 2026년 10월 28일
한마디로
녹음 파일 하나로 받아쓰기, 화자 구분, 번역, 내용 질문까지 말로 지시해서 처리하는 오픈 음성 모델이에요
무슨 내용인가
NVIDIA가 공개한 Nemotron 3.5 Transcribe는 전사, 화자 구분(diarization), 번역, 오디오 질의응답을 하나의 체크포인트로 처리하는 오픈 웨이트 모델입니다. 40개 언어를 전사하고 31개 언어는 영어와 번역하며 13개 언어에서 화자를 구분하는데, 최대 1시간 녹음과 8명까지의 화자를 다뤄요. Hugging Face Open ASR Leaderboard 영어 트랙에서 오픈 웨이트 모델 1위(평균 WER 5.33%)이고, David AI의 21개 언어 diarization 리더보드에서 가장 낮은 오류율을 기록했습니다. 함께 공개된 Granary v2는 48개 언어, 463,062시간 규모의 데이터와 NeMo Curator 기반 정제 파이프라인이며, 의료 사례에서 파인튜닝으로 WER을 크게 낮춘 과정도 제시해요. 다만 실시간 스트리밍용이 아니라 녹음된 오디오용입니다.
에디터 노트 | FactStack
전사, 화자 구분, 번역, 질의응답을 체크포인트 하나로 묶었다는 점이 핵심입니다. 지금까지는 Whisper, pyannote, 번역 모델을 이어 붙이느라 운영 부담이 컸는데, 프롬프트로 출력 형식을 바꿀 수 있으면 그 파이프라인 관리비가 줄어요. 다만 리더보드 1위는 영어 트랙 기준이고 화자 구분은 13개 언어에 그치니, 한국어 콜센터나 회의 녹음에서 WER과 diarization 오류율은 자사 데이터로 직접 재야 합니다. 실시간 스트리밍을 지원하지 않는 것도 상담 중 실시간 코칭 같은 용도에는 걸림돌이고, 자체 호스팅이면 GPU 비용과 개인정보 처리 책임이 도입 판단에서 모델 정확도만큼 큰 변수가 됩니다.
실무 시사점
콜센터, 회의록, 교육 영상처럼 다국어 녹음을 다루는 팀은 프롬프트만으로 화자 라벨이나 번역 출력을 바꿀 수 있어, 별도 파이프라인 없이 자체 호스팅 전사 도입을 검토해볼 만합니다
태그
용어 풀이
- Nemotron
- NVIDIA가 만드는 오픈 AI 모델 시리즈 이름
- ASR
- 음성을 글자로 바꾸는 자동 음성 인식 기술
- Diarization
- 녹음에서 누가 언제 말했는지 구분하는 화자 분리 기술
- Granary v2
- NVIDIA가 공개한 48개 언어 음성 학습 데이터와 정제 파이프라인
이 기사를 근거로 쓴 FactStack 분석
공유
이 주의 다른 소식 - 2026년 10월 26일 - 11월 1일 트렌드 13건주간 라운드업 보기 →