트랜스포머의 한계를 넘은 새로운 음성 AI! ‘맘바’ 아키텍처로 무장한 제노스 등장

음성 AI 기술은 날로 발전하고 있습니다. 특히 텍스트-음성 변환(TTS) 모델의 발전은 사람들의 관심을 끌고 있습니다.
최근, 지프라라는 미국의 AI 스타트업이 ‘맘바(Mamba)’ 아키텍처를 활용한 새로운 음성 복제 모델을 공개했습니다.
이 모델의 이름은 ‘제노스(Zenos)’로, 단 5초의 샘플 오디오만으로 음성을 복제할 수 있는 능력을 자랑합니다.
이제, 트랜스포머 모델의 한계를 넘어선 이 혁신적인 기술이 어떻게 음성 AI의 미래를 바꿀 수 있는지 알아보겠습니다.

① ‘맘바’ 아키텍처, 트랜스포머의 한계를 넘다

제노스는 ‘맘바(Mamba)’ 아키텍처와 트랜스포머 모델을 결합한 하이브리드 모델을 채택하여 기존 모델들의 문제점을 극복하려 했습니다.
기존의 트랜스포머 모델은 ‘히든 스테이트(hidden state)’에 모든 정보를 저장하는 방식으로 작동합니다.
이 방식은 문맥을 기억하는 데 유용하지만, 새로운 데이터를 처리할 때마다 전체 히든 스테이트를 다시 검색해야 하므로 연산 부담이 크고 메모리 소모가 많다는 단점이 있었습니다.

반면 맘바 SSM(상태공간모델)은 이 문제를 해결하기 위해 등장했습니다.
맘바는 이전 데이터를 요약하고 압축하여 새로운 데이터를 처리할 때 불필요한 정보를 제거하는 방식으로 동작합니다.
이를 통해 트랜스포머보다 약 20% 빠른 응답 속도를 자랑하는 하이브리드 모델이 가능해졌습니다.

② 제노스의 주요 특징과 성능

제노스는 약 20만 시간 분량의 음성 데이터를 기반으로 학습되었으며,
오디오북 내레이션에서부터 감정 표현이 풍부한 음성까지 다양한 스타일을 지원합니다.
5~30초 길이의 샘플 오디오만으로 44kHz 품질의 음성을 생성할 수 있으며,
영어, 일본어, 중국어, 프랑스어, 독일어 등 5개 언어를 지원합니다.

또한, 제노스는 말하는 속도, 피치, 오디오 품질, 감정적 톤을 자유롭게 조절할 수 있어, 더욱 개인화된 음성 생성이 가능합니다.
이 모델은 RTX 4090 GPU에서 로컬 실행이 가능하며, 200~300밀리초의 짧은 지연 시간을 기록합니다.

③ 제노스의 향후 전망

제노스는 허깅페이스에서 오픈 소스로 제공되고 있어, 누구나 모델을 다운로드하여 사용할 수 있습니다.
이 모델은 실시간 음성 합성과 음성 복제의 가능성을 한층 높여주며,
앞으로 다양한 AI 음성 응용 프로그램에서 중요한 역할을 할 것으로 기대됩니다.

제노스뿐만 아니라, 소닉(Sonic)과 오픈보이스(OpenVoice)와 같은 다른 음성 AI 모델들도 활발히 개발되고 있어,
음성 AI 기술은 더욱 빠르게 발전할 것입니다.

 

제노스는 맘바 아키텍처를 적용한 혁신적인 모델로, 트랜스포머 모델의 한계를 극복하며 새로운 가능성을 열었습니다.
음성 AI 기술의 발전은 미래의 커뮤니케이션 방식을 크게 변화시킬 것입니다.
제노스와 같은 모델들이 계속해서 등장함에 따라, 음성 인식과 합성 기술은 더욱 정교하고 자연스러워질 것입니다.
음성 AI의 새로운 시대가 열렸다고 할 수 있습니다.

 

📌 당신을 위한 3줄 요약

1. 지프라의 제노스는 맘바 아키텍처를 사용해 트랜스포머 모델의 한계를 넘은 음성 복제 모델이다.
2. 5초의 샘플 오디오로 고품질 음성을 생성하며, 다양한 언어와 스타일을 지원한다.
3. 제노스는 RTX 4090 GPU에서 로컬 실행 가능하며, 빠른 응답 속도를 자랑한다.

📌 3 line summary for you

1. Zenos by Zipra uses the Mamba architecture to overcome the limitations of Transformer models.
2. It generates high-quality speech with just a 5-second audio sample and supports multiple languages and styles.
3. Zenos can run locally on an RTX 4090 GPU with fast response times.

구독!! 공감과 댓글,

광고 클릭은 저에게 큰 힘이 됩니다.

 

Starting Google Play App Distribution! "Tester Share" for Recruiting 20 Testers for a Closed Test.

Tester Share [테스터쉐어] - Google Play 앱