엔비디아, 60분짜리 오디오를 1초 만에 받아 쓰는 전사 모델 오픈 소스 공개

엔비디아의 패러킷 모델 - 초고속 음성 전사 AI

엔비디아는 60분짜리 오디오를 단 1초 만에 받아 쓸 수 있는 음성 전사(AI) 모델을 출시했습니다. 이 모델은 패러킷-tdt-0.6b-v2로 명명되었으며, 최신 자동 음성 인식(ASR) 기술을 활용하여 매우 정밀한 필사를 가능하게 합니다. 기존의 오픈AI나 일레븐랩스와 같은 독점 모델의 성능에 근접하면서, 그 장점은 바로 오픈 소스로 제공된다는 점입니다.

패러킷 모델의 주요 특징

1. 고성능 음성 전사: 1초 만에 1시간 분량의 오디오를 정확하게 받아쓰는 성능
2. 우수한 정확도: 평균 단어 오류율(WER, Word Error Rate) 6.05%, 독점 모델에 근접
3. 오픈 소스 제공: 상업적 사용도 가능, 다양한 필사 서비스 및 애플리케이션 구축 지원
4. 자세한 타임스탬프 기능: 구두점, 대문자 사용 및 정확한 단어 단위 타임스탬프 제공
5. GPU 가속 지원: 엔비디아 GPU 하드웨어에서 빠르게 실행 가능
6. 지원 툴킷: 네모(NeMo) 툴킷을 사용해 모델 배포 가능

패러킷-tdt-0.6b-v2 모델의 기술적 분석

패러킷 모델은 패스트컨포머(FastConformer)라는 인코더와 TDT 디코더 아키텍처를 결합하여, 매우 빠르고 정확한 음성 인식을 제공합니다.

이 아키텍처는 높은 성능을 발휘하는 동시에, GPU 가속을 통해 실시간 음성 전사가 가능합니다.

 

벤치마크 결과:

• RTFx (실시간 계수): 3386.02
• 배치 크기 128에서 성능 최상위 기록

패러킷 모델은 단순한 음성 전사 이상의 기능을 제공합니다.

예를 들어, 회의나 인터뷰 같은 긴 음성 파일을 실시간으로 전사할 수 있어, 다양한 분야에서 활용 가능성이 큽니다.

패러킷 모델 사용법

패러킷 모델은 파이썬과 파이토치를 지원하므로, 개발자는 이를 이용해 자신만의 필사 시스템을 구축하거나, 도메인별 작업에 맞게 모델을 미세 조정할 수 있습니다. 또한, 허깅페이스를 통해 제공되는 체험용 데모 사이트에서 모델을 직접 경험할 수 있습니다.

 

💡 개발 팁:

• 엔비디아의 NeMo 툴킷을 활용하면, 손쉽게 모델을 배포하고, 각기 다른 요구 사항에 맞게 조정할 수 있습니다.

---

엔비디아의 패러킷 모델, 음성 전사의 새로운 시대 열다

엔비디아의 패러킷-tdt-0.6b-v2 모델은 빠른 속도와 높은 정확도를 자랑하는 음성 전사 솔루션으로, 이제 누구나 쉽게 사용할 수 있습니다.

오픈 소스로 제공되기 때문에, 개발자들이 직접 적용하고 미세 조정할 수 있는 점에서 매우 큰 장점이 있습니다.

이 모델은 필사 서비스, 음성 지원 시스템, 자막 생성기 등 다양한 애플리케이션에서 활용될 수 있습니다.

 

당신을 위한 3줄 요약

1. 엔비디아가 60분짜리 오디오를 1초 만에 받아 쓰는 고성능 음성 전사 모델을 오픈 소스로 공개했습니다.
2. '패러킷-tdt-0.6b-v2' 모델은 6억 개의 매개변수를 사용하며, 평균 단어 오류율이 6.05%에 불과합니다.
3. 상업적 사용도 가능한 오픈 소스로 제공되어 개발자들이 쉽게 활용할 수 있습니다.

3 Line Summary for You

1. NVIDIA released a high-performance audio transcription model capable of transcribing 60 minutes of audio in just 1 second as open-source.
2. The 'parakeet-tdt-0.6b-v2' model uses 600 million parameters and achieves an average word error rate of just 6.05%.
3. The open-source model is available for commercial use and is easy for developers to implement.

째깍째깍...흘러가는 시간 붙잡고 싶다면? 

Study Duck 학습 타이머 즉시 ON! 랭킹 경쟁 참여하고 학습 습관 만들 기회, 놓치지 마세요!

www.studyduck.net

Study Duck팟빵
https://www.podbbang.com/channels/1792491