Nemotron 전사 모델, 한국어 지원과 실시간은 별개

Nvidia가 10월 28일 공개한 Nemotron 3.5 Transcribe는 녹음 파일을 처리하는 오픈웨이트 음성 모델이다. 한국어를 포함한 40개 언어와 최대 1시간 녹음을 지원한다는 점은 회의·상담 기록을 다루는 기업에 흥미롭다. 그러나 빠른 전사 속도를 곧바로 실시간 음성 에이전트의 응답 지연으로 해석해서는 안 된다.

보도보다 모델 카드에서 확인할 세부 조건

TechCrunch 보도는 300억 파라미터 모델과 다국어 전사·번역 기능을 소개했다. 더 구체적인 사양은 공식 모델 카드에 있다. 오디오 인코더를 포함한 전체 파라미터는 340억, 활성 파라미터는 약 43억이라고 명시돼 있다.

제품명에 들어간 30B, 모델 전체의 34B, 실제 활성화되는 4.3B는 서로 다른 범위의 숫자다. 활성 파라미터가 적다고 모든 가중치를 저장하는 메모리까지 그만큼 줄어드는 것은 아니다. 모델 카드는 BF16, FP8, NVFP4 배포 형태와 BF16 시작 예제의 H100 80GB 한 장 구성을 안내한다.

문맥 길이는 65,536토큰이며 학습에서 다룬 녹음의 최대 길이는 1시간이다. 더 긴 녹음에 대한 일반화를 보장하지 않는다고도 밝힌다. 기업의 두 시간짜리 회의를 처리하려면 분할과 구간 간 화자 연결을 별도로 평가해야 한다.

한국어 지원은 기능별로 읽어야 한다

모델 카드의 한국어 행은 전사, 영어와의 양방향 번역, 여러 화자가 있는 녹음의 전사, 언어 혼용을 지원 대상으로 표시한다. 품질 등급은 공급자 분류상 Leading이다. 이는 모든 한국어 방언·전문용어·녹음 환경을 독립적으로 검증했다는 뜻은 아니다.

특히 오디오 이해, 추론, 말로 전달된 지시 이행은 영어에서만 평가했으며 다른 언어에서는 안정적으로 동작하지 않을 수 있다고 문서는 명시한다. 한국어 전사 지원과 한국어 오디오 질의응답의 검증 수준을 같은 것으로 취급하면 안 된다.

화자 태그는 녹음 안에서 발화자를 구분하기 위한 것이다. 실제 인물의 신원을 확인해 주는 기능이 아니다. 회의록에서 ‘화자 2’를 특정 직원으로 자동 확정하는 것은 다른 정보와 절차가 필요한 작업이다.

속도 수치는 공개 구현과 최적화 구성을 나눠야 한다

모델 카드는 RTX PRO 6000 Blackwell Server Edition GPU 한 장에서 최대 초당 2,238초 분량의 음성을 처리하고, 30초 녹음의 전사를 0.13초에 반환하는 구성을 소개한다. 조건은 NVFP4와 DFlash2 추측 디코딩 등을 사용하는 최적화된 NIM 구현이다.

중요한 각주는 이 최적화가 아직 오픈소스 배포에 포함되지 않았다는 점이다. 출시일 NeMo Speech의 vLLM 통합은 모델 개발용이며 대략 두 배 느릴 것으로 예상된다고 설명한다. 따라서 공개 가중치를 내려받는 즉시 광고된 최고 속도를 재현할 수 있다고 말할 수 없다.

공개 실행·개발 경로는 NeMo Speech 저장소에서 확인할 수 있다. 로컬 추론의 속도 근거처럼 측정 결과와 예상치, 배포 구현이 다른 수치를 구분해야 한다. 여기서 제시한 속도는 공급자 수치이며 본지가 직접 측정한 결과는 아니다.

녹음을 빨리 처리해도 실시간 서비스는 아니다

모델은 오프라인 처리용이라고 명시돼 있다. 내부적으로 오디오를 30초 단위로 나눠 계산한다는 사실도 스트리밍 서비스라는 뜻이 아니다. 파일을 받은 뒤 빠르게 결과를 반환하는 방식과, 말하는 동안 부분 결과를 갱신하고 끼어들기를 처리하는 방식은 요구사항이 다르다.

회의록 제작과 상담 종료 후 분석에는 녹음 처리 모델이 적합할 수 있다. 반면 통화 중 즉시 답변해야 하는 음성 에이전트는 입력 스트림 처리, 발화 종료 감지, 지연 예산, 중단 기능을 함께 평가해야 한다. Atticus의 로컬 음성 처리와 라우팅에서 다룬 시스템 설계 문제가 모델 하나의 정확도보다 넓은 이유다.

전사 결과를 다른 모델이 요약한다면 원문 전사와 요약도 구분해 저장하는 편이 좋다. 읽기 좋은 문장으로 정리하는 과정에서 부정 표현이나 수치가 변하면 원래 발언으로 돌아가 검토할 수 있어야 한다.

기업 도입 비용에는 교정과 운영이 포함된다

Nvidia는 데이터셋 Granary v2도 제공한다. 모델은 OpenMDW 1.1 조건을 따르며, 모델 카드에서는 상업적·비상업적 사용을 위한 준비가 됐다고 설명한다. 오픈웨이트라고 해서 장비, 저장, 교정 인력, 사용 조건 검토가 사라지는 것은 아니다.

한국 기업은 업무별 녹음 표본을 구성해 일반 단어 오류뿐 아니라 고객명, 상품명, 금액, 날짜, 부정 표현 오류를 별도로 세는 것이 유용하다. 의학 용어를 잘 인식하는 것과 임상적으로 안전한 기록을 만드는 것도 다르다. 의료 AI의 판단 기준처럼 중요한 오류에 더 높은 비용을 부여해야 한다.

결국 경쟁력은 지원 언어 수보다 실제 교정 시간을 얼마나 줄이는지에 달려 있다. 원본 오디오의 보관 기간, 접근 권한, 전사본 수정 이력을 함께 설계하면 빠른 모델을 검토 가능한 업무 시스템으로 만들 수 있다.

자주 묻는 질문

한국어를 지원하나?

공식 표는 전사, 영어 양방향 번역, 다중 화자 전사와 언어 혼용을 지원한다고 표시한다. 한국어 오디오 추론까지 검증됐다는 뜻은 아니다.

실시간 통화 에이전트에 바로 사용할 수 있나?

모델은 녹음 처리용이다. 내부 분할 처리나 짧은 파일의 빠른 반환이 실시간 스트리밍을 의미하지 않는다.

30B와 34B, 4.3B 중 무엇이 맞나?

제품명은 30B 계열이고, 모델 카드는 인코더 포함 전체 34B와 활성 약 4.3B를 구분한다. 메모리 예산에는 전체 구성과 정밀도를 봐야 한다.

공개 모델로 최고 속도를 그대로 재현할 수 있나?

확인되지 않았다. 최고 수치에는 아직 공개 구현에 포함되지 않은 최적화가 들어간다고 문서가 밝힌다.

첫 평가에서 무엇을 측정해야 하나?

자사 한국어 녹음에서 중요한 단어와 숫자의 오류, 화자 혼동, 처리 시간, 사람이 고치는 시간을 같은 조건에서 비교하는 것이 좋다.